elasticsearch - 如何防止旧日志从文件拍追加到Logstash？

Question

我正在使用filebeat从远程服务器获取日志并将其传送到logstash，所以它工作正常。
但是，当新日志添加到源日志文件中时，filebeat会从头开始读取这些日志并将其发送到logstash，然后在 flex 搜索中将所有带有旧日志的日志添加到logstash中，即使我们已经在Elasticsearch中添加了这些旧日志，因此这里也会发生重复的日志。

所以我的问题是如何仅将新添加的日志发送到logstash中。一旦有新的日志行添加到日志文件中，那么这些新文件应以logstash的形式发送到elasticsearch。

这是我的filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/user/Documents/ELK/locals/*.log

logstash输入为logstash-input.conf

input {
  beats {
    port => 5044
  }
}

Answer 1

我假设您犯了与几个月前测试文件拍相同的错误(使用 vi编辑器手动更新日志/文本文件)。当您使用vi编辑器手动编辑文件时，它将在磁盘上使用新的元数据创建一个新文件。 Filebeat使用元数据而不是文本来标识文件的状态。因此，重新加载完整的日志文件。

如果是这种情况，请尝试将其附加到文件中。
回声“东西” >> /path/to/file.txt

更多信息:Read this