elasticsearch - Filebeat 复制事件

Question

我正在使用 Filebeat > logstash > elasticsearch > kibana 运行一个基本的 elk 堆栈设置——全部在 5.2 版上

当我删除 Filebeat 并将 logstash 配置为直接查看文件时，它会摄取正确数量的事件。

如果我删除数据并使用 Filebeat 重新摄取文件以将相同的日志文件内容传递到 logstash，我会创建超过 10% 的事件。我已经检查了其中的一些以确认 filebeat 正在创建重复项。

有人见过这个问题吗？或者对为什么会发生这种情况有任何建议？

Answer 1

我需要先了解删除文件节拍是什么意思!!

可能性-1

如果您已经卸载并再次安装，那么显然 file beat 将再次从该路径读取数据(您已重新摄取并将其发布到 logstash->elasticsearch->kibana(假设旧数据未从中删除弹性节点)因此重复。

可能性-2。

您刚刚停止了 filebeat，为 logstash 配置并重新启动了 filebeat，并且可能是您的注册表文件在关闭期间没有正确更新(如您所知，file beat 逐行读取并将注册表文件更新到成功的行发布到 logstash/elasticsearch/kafka 等，如果这些输出服务器中的任何一个在处理来自 filebeat 的巨大输入负载时遇到任何困难，那么 filebeat 会等待直到这些服务器可用于进一步处理输入数据。一旦这些输出服务器可用，filebeat 读取注册表文件并扫描它已发布的行并开始发布下一行。

示例注册表文件如下所示

{
"source": "/var/log/sample/sample.log",
"offset": 88,
"FileStateOS": {
    "inode": 243271678,
    "device": 51714
},
"timestamp": "2017-02-03T06:22:36.688837822-05:00",
"ttl": -2
}

如您所见，它在注册表文件中维护时间戳。所以这是重复的原因之一。

如需进一步引用，您可以点击以下链接

https://discuss.elastic.co/t/filebeat-sending-old-logs-on-restart/46189 https://discuss.elastic.co/t/deleting-filebeat-registry-file/46112

https://discuss.elastic.co/t/filebeat-stop-cleaning-registry/58902

希望对您有所帮助。