hadoop - Spark 作业出错，出现 : Too many elements to create a power set 34

Question

我正在尝试在查询弹性数据的 mesos 集群中运行一个 spark 作业，使用 esJsonRDD 查询如下: Fetching esJsonRDD from elasticsearch with complex filtering in Spark，对于少于 32 个节点的多节点弹性集群运行良好。随着弹性中节点的增加，作业失败并出现以下异常:

org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Too many elements to create a power set 37

如 https://github.com/elastic/elasticsearch-hadoop/issues/737 中所述

我正在使用 elastic 2.3.4，对于相同版本的 elastic 是否有任何解决方法？这是我当前 Spark 作业的 gradle 依赖项。

compile group: 'org.elasticsearch', name: 'elasticsearch-spark_2.11', version: '2.4.5'
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.0.0'
compile group: 'org.elasticsearch', name: 'elasticsearch', version: '2.3.4'

Answer 1

将 elasticsearch-spark 版本更改为 5.5.0，如 https://github.com/elastic/elasticsearch-hadoop/issues/737 中所述它奏效了。

compile group: 'org.elasticsearch', name: 'elasticsearch-spark-20_2.11', version: '5.5.0'