elasticsearch - 了解 logstash 重试策略

Question

我在一台机器上运行了 kibana 和 elasticsearch 实例。 Logstash 和 filebeat 在其他机器上运行。

流程运行良好。我有一个疑问，我需要了解这一点。我让 elasticsearch 关闭并让 logstash 将一些日志泵送到 elasticearch。由于 elasticsearch 已关闭，我希望数据会丢失。但是当我启动 elasticsearch 服务时，Kibana 能够显示 elasticsearch 关闭时发送的日志。

当我在网上搜索时，我知道 logstash 重试连接到 elasticsearch 失败了。

请问这个参数怎么设置

Answer 1

原因是 elasticsearch output使用两个参数实现指数退避:

• retry_initial_interval
• retry_max_interval

如果批量调用失败，Logstash 将等待 retry_initial_interval 秒，然后重试。如果仍然失败，它将等待 2 * retry_initial_interval 并重试。 Ans 等等，直到等待时间达到 retry_max_interval，此时它将无限期地每隔 retry_max_interval 秒尝试一次。

请注意，此重试策略仅在 ES 不可达时才有效。如果出现其他错误，例如映射错误 (HTTP 400) 或冲突 (HTTP 409)，则不会重试批量调用。