gpt4 book ai didi

scala - SparkContext textFile的InputPath语法

转载 作者:行者123 更新时间:2023-12-02 21:50:22 31 4
gpt4 key购买 nike

请告诉我我该如何使用 SparkContext 指定textFile()的输入路径。像下面这样对我不起作用。

sc.textFile("hdfs://localhost:54310/home/myFiles/sampleFile")

其中54310是 core-site.xml中指定的端口号

最佳答案

只是一个简单的错误。我们在Spark上下文中加载的文件需要扩展名

sc.textFile(hdfs:// localhost:54310 / home / myFiles / sampleFile.txt“)

关于scala - SparkContext textFile的InputPath语法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21544852/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com