scala - 如何从Spark中的多个Elasticsearch索引读取？

Question

我需要从Elasticsearch的多个索引中读取数据。但是所有这些索引都具有相同的数据结构。

例如:

val df1 = spark.read.format("org.elasticsearch.spark.sql")
              .option("query", myquery)
              .option("pushdown", "true")
              .load("news_01/myitem")

val df2 = spark.read.format("org.elasticsearch.spark.sql")
              .option("query", myquery)
              .option("pushdown", "true")
              .load("news_02/myitem")

如果得到索引名称为 ["news_01", "news_02"]的数组会怎样？

如何避免像现在这样创建 df1， df2？

Answer 1

鉴于ElasticSearch允许您在搜索请求期间同时定位多个索引，您可以执行以下操作:

val df = spark.read.format("org.elasticsearch.spark.sql")
              .option("query", myquery)
              .option("pushdown", "true")
              .load("news_01,news_02")