python - ElasticSearch，size参数不适用于helpers.scan函数

Question

我使用以下python代码获取ElasticSearch记录。我只想获取50000条记录。但事实是我得到了整个索引(超过100万条记录)。

result = helpers.scan(
    es, 
    query={
        "_source": ["points.style_attrs.POI_TYPE", "point.poi_id.encrypted_value"],
        "size": 50000,
        "query": {
            "bool": {
                "must": [
                    {"term": {"metadata.tag": tag}},
                    {"term": {"metadata.city": city}}
                ]   
            }   
        }   
    },  
    size=1000,
    index=from_index)

在调试代码时，我只想获取一些记录以确保我的代码正确。如果获取整个索引，则无法快速调试代码。

Answer 1

您所做的一切都正确，除了您要处理的一件事情。如helpers.scan文档中所引用

size: size (per shard) of the batch send at each iteration.

应该将helpers.scan方法返回一个生成器，可以对其进行迭代以获取记录。在您的情况下，代码如下所示:

result = helpers.scan(
es, 
query= your_query,
index=from_index)

count = 0
final_result = list()
for each_result in result:
    final_result.append(each_result)
    count += 1
    if count == 50000:
        break