java - 如何有效地将多个 json 文件读入 Dataframe 或 JavaRDD？

Question

我可以使用以下代码读取单个 json 文件，但我需要读取多个 json 文件并将它们合并到一个 Dataframe 中。我怎样才能做到这一点？

DataFrame jsondf = sqlContext.read().json("/home/spark/articles/article.json");

或者有没有办法将多个 json 文件读入 JavaRDD，然后转换为 Dataframe？

Answer 1

要在 Spark 中读取多个输入，请使用通配符。无论您是构建数据框还是 rdd，这都是正确的。

context.read().json("/home/spark/articles/*.json")
// or getting json out of s3
context.read().json("s3n://bucket/articles/201510*/*.json")