hadoop - Pyspark es.query 仅在默认情况下有效

Question

在 pypspark 中，我可以获得从 ES 返回的数据的唯一方法是保留 es.query 默认值。这是为什么？

es_query = {"match" : {"key" : "value"}}
es_conf = {"es.nodes" : "localhost", "es.resource" : "index/type", "es.query" : json.dumps(es_query)}
rdd = sc.newAPIHadoopRDD(inputFormatClass="org.elasticsearch.hadoop.mr.EsInputFormat",keyClass="org.apache.hadoop.io.NullWritable",valueClass="org.elasticsearch.hadoop.mr.LinkedMapWritable", conf=es_conf)
...
rdd.count()
0
rdd.first()
ValueError: RDD is empty

然而这个查询(默认)似乎有效

es_query = {"match_all" : {}}
...
rdd.first()
(u'2017-01-01 23:59:59)

*我已经通过直接查询 elastic search 来测试查询，它们有效，所以 spark/es-hadoop 有问题。

Answer 1

默认情况下，API 在您的实际查询前添加“query”:{}。对于 elasticsearch，您发送的查询看起来像

"query" :{
"match" : {"key" : "value"}
}

这是无效的。