amazon-web-services - FIlebeat-Redis-Logstash : Filebeat fast and Logstah slow, logstash 线程？

Question

我正面临 logstash 的延迟问题。

事实上，我有一个这样构建的 ELK 堆栈:

• 我在 AWS 自动缩放组中有多个 AWS EC2 网络前端
• 我在每个前端都安装了 filebeat
• filebeat 读取日志文件并将消息发送到 redis 集群(aws elasticache redis，一个主节点和一个从节点，禁用集群模式)
• 我在 EC2 c4.large 上安装了 logstash，它从 redis (pop) 读取日志，并在 Elasticseach 集群中为它们编制索引
• 我的 elasticsearch 由三个 EC2 c4.xlarge 组成
• logstash 还从 s3 读取 elb 日志并在 elasticsearch 集群中对其进行索引

问题:

• 无论是在我的 logstash 实例还是我的 elasticsearch 集群上，我的 cpu 使用率都不是很高
• filebeat 正在准确读取和发送日志
• 开始时一切正常，但随着日志的增长，filebeat 继续以非常快的速度发送日志，但 logstash 变得非常慢。

结果:

• 在 kibana 中，我看到 filebeat 日志的延迟随着时间的推移而增加(日志现在延迟超过 2 小时)
• 自 2016 年 12 月以来，我没有看到 s3 elb 日志。我检查过，logstash 每 60 秒从 s3 中提取它们，但似乎也没有为它们编制索引，并且没有错误。

要恢复，我的 logstash 工作非常缓慢，我无法按时查看所有日志，我什至将 logstash 大小增加到更大的实例 (c4.2xlarge)，但它没有改变任何东西。我用 8 个线程配置了 logstash redis 输入，但根本没有改变。

所以我想知道如何准确地线程化我的 logstash 服务，从您的角度来看我如何处理问题？

谢谢

Answer 1

我发现了我的日志延迟问题。我在我的过滤器配置中使用 multine，logstash 将管道工作人员计数设置为 1。所以我在那里删除它并在我的 filebeat 源配置中进行多行处理。为了获得更高的网络性能，我还将我的 logstash 实例从 c4.large 升级到 c4.xlarge，并将我的管道工作线程数设置为 6(c4.xlarge 有 4 个 vpcu)，我的elasticsearch worker 也达到 6。

现在我可以在 kibana 中实时查看我的日志。

我在 Debian Jessie 上使用 logstash 2.2.4，并在 /etc/default/logstash 中调整我的设置。，

所以我在这里应该建议的是避免在流水线过程中使用 multiline 并尽可能接近对应。还适本地设置工作人员配置以处理日志增长。

我认为这个问题已经回答，因为我的主要问题是延迟，我将针对 logstash s3 插件问题打开另一个单独的问题。