elasticsearch - 批量插入与单次插入

Question

管理我们 ES 集群的主要开发人员声明，加载到 ES 的单个文档每秒只能为我们提供大约 30/40 个创建。而批量操作将为我们提供 1,000+ 范围内的更多信息。我意识到批量总是更快(或通常更快)并且任何过程都存在硬件/环境限制。然而，使用其他技术，您无需为单次插入付出如此沉重的代价。说到ES，我显然一无所知。为什么要为 ES 中的文档写入付出如此沉重的代价？或者我们只是没有得到适当的通知？

环境:

• Apache Storm 写入我们的 ES 集群
• 目前所有的写入都是在批量操作中处理的。

Answer 1

您必须考虑的是加载器和集群之间的往返时间。设置 http 连接、传输数据，然后等待响应可能需要一段时间——在这种情况下，您似乎需要大约 30 毫秒。 Elasticsearch 必须为您的请求设置一个解析器，将其交给真正执行工作的节点，然后生成响应返回给您。

通过使用批量 API，您可以消除很多来回操作——ES 可以将去往同一节点的插入组合在一起，不必为每个请求实例化一个新的解析器，等等。

单个请求的 HTTP 连接池会有所帮助，但从长远来看，进行批量插入/更新/删除总是会更快。