gpt4 book ai didi

基于Docker搭建ELK 日志系统的方法

转载 作者:qq735679552 更新时间:2022-09-28 22:32:09 27 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章基于Docker搭建ELK 日志系统的方法由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

背景需求:

业务发展越来越庞大,服务器越来越多 各种访问日志、应用日志、错误日志量越来越多,导致运维人员无法很好的去管理日志 开发人员排查问题,需要到服务器上查日志,不方便 运营人员需要一些数据,需要我们运维到服务器上分析日志.

ELK介绍:

基于Docker搭建ELK 日志系统的方法

ELK是三个开源软件的缩写,分别为:Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。 目前由于原本的ELK Stack成员中加入了 Beats 工具所以已改名为Elastic Stack。 Beats,它是一个轻量级的日志收集处理工具(Agent),占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具.

基于Docker搭建ELK 日志系统的方法

搭建步骤:

经过上述描述,大家也应该稍微有点了解了,想要搭建这个平台至少是需要3/4个软件的(可以没有filebeat).

  • kibana 用于展示
  • elasticsearch 用于检索
  • logstash 用于过滤
  • filebeat 用于收集日志

本篇文章假定你已经有了docker环境,并且有基本的docker使用经验 。

拉取镜像(统一版本可以避免很多坑):

  1. docker pull kibana:6.8.2
  2. docker pull elasticsearch:6.8.2
  3. docker pull mobz/elasticsearch-head:5 # es的一个插件
  4. docker pull logstash:6.8.2
  5. docker pull docker.elastic.co/beats/filebeat:6.8.2 # 很慢 可以尝试设置代理或者更改docker镜像源

Docker 设置代理在linux中可以使用ClashX 订阅url,然后docker 连到代理。有桌面的可以直接更改,没有的也可以创建配置文件进行更改 ⇒ 传送门 。

基于Docker搭建ELK 日志系统的方法

另外把docker的内存给多一点儿,避免到时候卡顿.

构建ES:

  1. docker run -d -p 9200:9200 -p 9300:9300 --name elasticsearch -e "discovery.type=single-node" elasticsearch:6.8.2

浏览器访问(curl也行):localhost:9200 出现下面的结果则说明启动成功:

基于Docker搭建ELK 日志系统的方法

若出现错误,请查错误日志.

创建ES-HEAD:

  1. docker run -d -p 9100:9100 docker.io/mobz/elasticsearch-head:5

同样访问localhost:9100,看到下面的结果即为成功:

基于Docker搭建ELK 日志系统的方法

在es-head连接es可能是连不上的,是因为es没有开启跨域,进入es容器内部 找到config文件下的elasticsearch.yml,在此文件中增加:

  1. http.cors.enabled: true
  2. http.cors.allow-origin: "*"

然后重启es后es-head就可以连接上es.

开启Kibana:

  1. docker run -d -p 5601:5601 --link elasticsearch -e ELASTICSEARCH_URL=http://elasticsearch:9200 kibana:6.8.2

这里就是http://elasticsearch:9200,不要更改,前面使用了–link,会在kibana容器hosts文件中加入elasticsearch ip地址,这样我们就直接通过定义的name来访问es服务了。 容器启动成功后,es-head里面应该就能看到下面的信息:

基于Docker搭建ELK 日志系统的方法

访问localhost:5601会出现下面的结果:

基于Docker搭建ELK 日志系统的方法

至此我们的kibana已经成功跑起来了,es也已经跑起来了,接下来就是收集日志的服务了.

构建filebeat 和 logstash:

首先声明,这两兄弟需要点儿配置文件,我们想整个文件夹统一存放这两份配置文件:

  1. mkdir elktest # 在主目录下 即:~/elktest 路径
  2. cd elktest
  3. touch filebeat.yml
  4. touch logstash.conf

添加配置文件 。

  1. vim filebeat.yml
  1. filebeat.prospectors:
  2. - paths:
  3. - /home/elk/logs/user/a.log
  4. multiline:
  5. pattern: ^\d{4}
  6. negate: true
  7. match: after
  8. fields:
  9. doc_type: user
  10. - paths:
  11. - /home/elk/logs/service/a.log
  12. multiline:
  13. pattern: ^\d{4}
  14. negate: true
  15. match: after
  16. fields:
  17. doc_type: service
  18. output.logstash: # 输出地址
  19. hosts: ["logstash:5044"]
  1. vim logstash.conf
  1. input {
  2. beats {
  3. port => "5044"
  4. }
  5. }
  6. filter {
  7. json {
  8. source => "message"
  9. }
  10. }
  11.  
  12. output {
  13. stdout { codec => rubydebug }
  14. elasticsearch {
  15. hosts => [ "elasticsearch:9200" ]
  16. index => "%{[fields][doc_type]}-%{+YYYY.MM.dd}"
  17. }
  18. }

当前你应该还在elktest目录下,由于我们没有日志来源,所以本片的方式是手动创建日志,建立一个日志文件夹:

  1. mkdir logdir

自己构建一些日志,随便写什么,文件及文件夹名称不要改动,已经在配置文件中对应好了,构建完成之后你的目录结构应该长这个样子:

基于Docker搭建ELK 日志系统的方法

创建容器:

  1. docker run -it --name logstash --link elasticsearch -d -p 5044:5044 -v ~/elktest/logstash.conf:/usr/share/logstash/pipeline/logstash.conf logstash:6.8.2
  2.  
  3. docker run --name filebeat --link logstash -d -v ~/elktest/filebeat.yml:/usr/share/filebeat/filebeat.yml -v ~/elktest/logdir/user/:/home/elk/logs/user/ -v ~/elktest/logdir/service/:/home/elk/logs/service/ docker.elastic.co/beats/filebeat:6.8.2

此时你的es-head应该长这个样子:

基于Docker搭建ELK 日志系统的方法

如果不是这个样子,可以查看容器是否运行,是否有错误日志,另外也可以到logstash容器中ping elasticsearch,filebeat容器中ping logstash,检查路径是否有问题.

Kibana显示: 创建索引向:

基于Docker搭建ELK 日志系统的方法

创建完成后去查看,添加自己想要查看的字段,内容在message里(刚好就是我们在a.log中的内容):

基于Docker搭建ELK 日志系统的方法

到此为止,我们的elk已经搭建完成了,成功搭建的小伙伴晚饭给自己加个鸡腿!!!! 。

以上就是基于Docker搭建ELK 日志系统的方法的详细内容,更多关于Docker搭建ELK日志系统的资料请关注我们其它相关文章! 。

原文链接:https://blog.csdn.net/ALakers/article/details/116663267 。

最后此篇关于基于Docker搭建ELK 日志系统的方法的文章就讲到这里了,如果你想了解更多关于基于Docker搭建ELK 日志系统的方法的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com