ElasticSearch:结果窗口太大

Question

我的 friend 在 Elastic Search 云上存储了 65000 个文档，我想检索所有这些文档(使用 python)。但是，当我运行当前脚本时，出现一个错误:

RequestError(400, 'search_phase_execution_exception', 'Result window is too large, from + size must be less than or equal to: [10000] but was [30000]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting.') 

我的脚本

 es = Elasticsearch(cloud_id=cloud_id, http_auth=(username, password))
 docs =  es.search(body={"query": {"match_all": {}}, '_source': ["_id"], 'size': 65000})

检索所有这些文档并且不将其限制为 10000 个文档的最简单方法是什么？谢谢

Answer 1

已设置限制，以便结果集不会压倒您的节点。结果将占用弹性节点中的内存。结果集越大，内存占用和对节点的影响就越大。

根据您要对检索到的文档执行的操作，

• 如果是批处理作业，请尝试使用 scroll api(如您的错误消息中所建议)。在这种情况下，请注意滚动上下文的生​​命周期。

  https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-body.html#request-body-search-scroll

• 或者，使用Search After

  https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-body.html#request-body-search-search-after