Filebeat

转载 作者：撒哈拉 更新时间：2024-09-22 18:20:58 58 4

wget  https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.0.1-x86_64.rpm
yum install ./filebeat-6.0.1-x86_64.rpm

vim /etc/filebeat/filebeat.yml                     # 主配置文件
\- type: log                                       # 文档类型
paths:
\- /var/log/httpd/access.log*                     # 从哪里读入数据# 输出在elasticsearch与logstash二选一即可
output.elasticsearch:                           #将数据输出到Elasticsearch。与下面的logstash二者选一
 hosts: ["localhost:9200"]
output.logstash:                               # 将数据传送到logstash，要配置logstash使用beats接收
 hosts: ["172.18.68.14:5044"]

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.elasticsearch:
    hosts: ["192.168.1.42:9200"]

setup.kibana:
      host: "localhost:5601"

output.elasticsearch:
      hosts: ["myEShost:9200"]
      username: "filebeat_internal"
      password: "{pwd}" 
setup.kibana:
      host: "mykibanahost:5601"
      username: "my_kibana_user"  
      password: "{pwd}"

output.logstash:
      hosts: ["127.0.0.1:5044"]

#=========================== Filebeat inputs ==============
filebeat.inputs:

- type: log

  enabled: true

  paths:
    - /var/log/*.log

#============================== Dashboards ===============
setup.dashboards.enabled: false

#============================== Kibana ==================
setup.kibana:
	host: "192.168.101.5:5601"

#-------------------------- Elasticsearch output ---------
output.elasticsearch:
  	hosts: ["localhost:9200"]

systemctl start filebeat

vim /etc/logstash/conf.d/test.conf
input {
   beats {
           port => 5044                             # 监听5044用于接收Filebeat传来数据
   }
}
filter {
 grok {
match => {
 "message" => "%{COMBINEDAPACHELOG}"                 # 匹配HTTP的日志
}
remove_field => "message"                             # 不显示原信息，仅显示匹配后
 }
}
output {
elasticsearch {
hosts => ["http://172.18.68.11:9200","http://172.18.68.12:9200","http://172.18.68.13:9200"] # 集群IP
index => "logstash-%{+YYYY.MM.dd}"
action => "index"
document_type => "apache_logs"
}
}

 /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

curl 127.0.0.1
curl 172.18.68.51
curl 172.18.68.52
curl 172.18.68.53

58 4 0

• Filebeat

  Filebeat 简介 Filebeat用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装，Filebeat监视指定的位置文件或位置，收集日志事件，并将他们转发到Elasticsear

• filebeat - 如何禁用 filebeat 的 close_inactive 设置？

  我的 filebeat(来自 docker.elastic.co/beats/filebeat:6.1.2 的容器)收割机正在被 close_inactive 关闭，我不希望它们被关闭。来自 here

• elasticsearch - Filebeat > 是否可以在没有 Logstash 的情况下通过 Filebeat 将数据发送到 Elasticsearch

  我是ELK的新手。我先安装了没有 Logstash 的 Elasticsearch 和 Filebeat，我想将数据从 Filebeat 发送到 Elasticsearch。在我安装了 Filebea

• amazon-web-services - FIlebeat-Redis-Logstash : Filebeat fast and Logstah slow, logstash 线程？

  我正面临 logstash 的延迟问题。 事实上，我有一个这样构建的 ELK 堆栈: 我在 AWS 自动缩放组中有多个 AWS EC2 网络前端 我在每个前端都安装了 filebeat filebea

• filebeat - 在asciidoc中转义 `/**`

  我的目标 我正在尝试提交对 Filebeat documentation 的修复，写于asciidoc 。 来源 Currently it is not possible to recursively

• filebeat - 在asciidoc中转义 `/**`

  我的目标 我正在尝试提交对 Filebeat documentation 的修复，写于asciidoc 。 来源 Currently it is not possible to recursively

• 带输出的 FileBeat 配置测试

  我正在尝试使用 filebeat test ouput -e -c filebeat.yml 测试我的配置，我只看到带有命令列表的帮助消息。 我其实是想输出数据文件来验证。虽然我已经测试了 fileb

• logstash - Filebeat - 从远程目录读取

  是否可以将文件节拍设置为从远程目录读取(因为我无法在那台机器上安装进程) 我在beats yml上是这样设置的: filebeat: # List of prospectors to fetch

• Elasticsearch Filebeat 文档类型已弃用问题

  我目前正在使用 ELK 5.5。现在看来 document_type 在 Filebeats 中已被弃用，但我现在在任何地方都找不到任何关于如何实现相同的示例。 这是我在日志中得到的: WARN DE

• logstash - Filebeat 服务在重新启动时挂起

  我在 filebeat 方面遇到了一些奇怪的问题 我正在使用云形成来运行我的堆栈，并且我正在安装和运行 filebeat 来进行日志聚合， 我将/etc/filebeat/filebeat.yml注入

• elasticsearch - Filebeat:根据文档类型输出到不同的输出

  因此，我正在使用Filebeat读取几种不同的文件类型。我为要收获的每种文件设置document_type。我的问题是我想将大多数这些文件类型发送到Logstash，但是我希望将某些类型的文件直接发送

• elasticsearch - Filebeat 多行过滤器不起作用？

  我正在尝试从 filebeat 读取文件并将它们推送到 logstash。在推送它们之前，我正在尝试合并包含 java 堆栈跟踪的事件。我试过这个过滤器，但它不起作用。 filebeat.prospe

• elasticsearch - filebeat yaml使用索引中的当前文件名

  paths: - /var/log/*.log 我使用它作为filebeat中运输日志的路径。 输出为elasticsearch。 output: elasticsearch:

• elasticsearch - Filebeat - 设置多行配置

  我有一个读取多种不同日志格式的文件节拍。 一种工作得很好的格式是单个衬里，它作为单个事件发送到 Logstash。 现在，我有另一种格式，即多线。我想将其作为单个事件读取并将其发送到 Logstash

• elasticsearch - Filebeat-如何覆盖Elasticsearch字段映射？

  我们正在通过filebeat将数据摄取到Elasticsearch并遇到配置问题。 我正在尝试为特定字段指定日期格式(标准@timestamp字段保留索引时间，我们需要实际的事件时间)。到目前为止，我

• elasticsearch - Filebeat 复制事件

  我正在使用 Filebeat > logstash > elasticsearch > kibana 运行一个基本的 elk 堆栈设置——全部在 5.2 版上 当我删除 Filebeat 并将 log

• elasticsearch - Filebeat:将不同的日志从Filebeat发送到不同的Logstash管道

  我想要一个filebeat实例可以将数据发送到不同的logstash管道的功能。 这可能吗？ 我已经配置了一个logtash服务，它具有两个管道 管道给出了单独的端口。 假设管道1(端口5044)，管

• Logstash 输入 Filebeat

  首先我为我的英语道歉。 我是一家公司的实习生，我用 Filebeat 提出了一个解决方案 ELK 来发送日志。 问题是一旦恢复 syslog_pri 总是显示 Notice 和 severity_co

• Filebeat TCP 输入使用情况

  问题: TCP 输入是否管理收割机(即，您是否将文件路径发送到 TCP 输入，然后收割机开始摄取该文件)？ TCP 输入能否接受结构化数据(例如 log 输入上的 json 配置选项)？ TCP 输入

• elasticsearch - Filebeat - 从消息行解析字段

  我正在使用 Filebeat 将日志数据从我的本地 txt 文件发送到 Elasticsearch，并且我想将 message 行中的一些字段添加到事件中——比如时间戳和日志级别。例如，这是我的日志行