elasticsearch - 高流量下的 Elasticsearch 索引策略

Question

我们将ElasticSearch用作工具的实时指标和分析部分。当我们查询数据时，ElasticSearch非常酷且快速。 (统计方面和术语方面)

但是，当我们尝试索引每小时数据时，我们遇到了问题。我们从其他服务收集我们的每个指标数据。首先，我们从其他服务收集数据并将其保存在RabbitMQ进程中。但是，当队列 worker 运行我们所有的每小时数据时，就不会索引到ES。通常，ES中的数据索引的％40以及其他丢失的数据。

那么，当索引ES在高流量下时，您有什么想法？

Answer 1

我已经发布了其他类似问题的答案:

Ways to improve first time indexing in ElasticSearch

Performance issues using Elasticsearch as a time window storage(我的答案的后半部分适用)

另外，您是否考虑过使用“河”而不是自定义的“队列工作器”？有关更多信息，请参见:

http://www.elasticsearch.org/blog/the-river/

http://www.elasticsearch.org/guide/reference/river/