amazon-web-services - Logstash:将消息批量大小限制为 10MB

Question

问题

我有一台使用 Logstash 作为日志记录引擎的服务器。 Logstash 实例配置为将其日志保存在 AWS Elasticsearch 实例中。

几个小时前，我在 ES 集群 Kibana View 中看不到任何日志:

logstash日志文件有很多类似的错误:

{:timestamp=>"2016-02-25T14:39:46.232000+0000", 
 :message=>"Got error to send bulk of actions: [413] 
 {\"Message\":\"Request size exceeded 10485760 bytes\"}", 
 :level=>:error}

我已经与 AWS 支持人员交谈过，他们确认他们的 ES 机器将请求大小限制为 10MB。

我尝试了什么

• 在配置中设置flush_size => 50

问题

如何将 Logstash 请求大小限制为 ES 强制执行的 10MB 限制？

Answer 1

我遇到了同样的问题，为了解决我在输出中设置 flush_size => 100:logstash 的 elasticsearch 配置。

作为旁注，请在您的域的 ES 仪表板中检查“可用存储空间”。

编辑:

对于此更改后的第一次运行，我从命令行而不是作为恶魔运行 logstash:

/opt/logstash/bin/logstash -f /etc/logstash/conf.d/