curl - 如何避免Elasticsearch Bulk API中每个文档的索引

Question

我正在使用curl将apache日志作为文档添加到使用批量API的elasticsearch中。我发布以下内容:

{"index": {"_type": "apache", "_id": "123", "_index": "apache-2017-01"}}
{"s": 200, "d": "example.se", "@t": "2017-01-01T00:00:00.000Z", "p": "/foo"}
{"index": {"_type": "apache", "_id": "124", "_index": "apache-2017-01"}}
{"s": 200, "d": "example.se", "@t": "2017-01-01T00:00:00.000Z", "p": "/bar"}
... more of the same ...

我的猜测是，对于每个logrow文档行，lucene索引都会更新其索引。但是我不需要用elasticsearch来做。首先添加所有日志文件 ，然后再更新索引，就可以了。

这可能吗？这是一个好主意吗？会改善性能吗？

Answer 1

你的直觉离真理不远。默认情况下，ElasticSearch will update its index every second:

The default index.refresh_interval is 1s, which forces Elasticsearch to create a new segment every second. Increasing this value (to say, 30s) will allow larger segments to flush and decreases future merge pressure.

因此，增加索引吞吐量的一种方法是增加 index.refresh_interval，甚至可以增加到无穷大，然后在完成插入操作后将其重新打开。 (请注意，插入的文档仅在段关闭(即写入完成)之后才可用于搜索。)

但是，这不是将文档插入ElasticSearch时唯一的瓶颈。例如，您可能考虑使用多个线程来批量插入文档，或者使用ElasticSearch文档的 Tune for index speed部分中描述的其他调整。您可以在 Dynamic Index Settings部分中查找要更改的其他索引参数。

希望有帮助!