gpt4 book ai didi

apache-spark - 从 Spark 读取多个 json 文件

转载 作者:行者123 更新时间:2023-12-03 18:32:24 25 4
gpt4 key购买 nike

我有一个我想要并行加载的 json 文件列表。

我不能用 read.json("*")因为文件不在同一个文件夹中,并且我没有可以实现的特定模式。

我试过 sc.parallelize(fileList).select(hiveContext.read.json)但是正如预期的那样,执行程序中不存在配置单元上下文。

有任何想法吗?

最佳答案

看起来我找到了解决方案:

val text sc.textFile("file1,file2....")
val df = sqlContext.read.json(text)

关于apache-spark - 从 Spark 读取多个 json 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36835989/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com