gpt4 book ai didi

hadoop - SparkContext无法读取存储在HDFS中的文件,但是命令 “hadoop fs -text”可以正确读取它

转载 作者:行者123 更新时间:2023-12-02 21:19:56 24 4
gpt4 key购买 nike

如前所述,HDFS中存储了一些文件。
sc.textFile方法无法正确读取它们,但hadoop fs -text可以。
sc.textFile("hdfs://destinationFile...") .first将返回混乱的代码。

messycode return from sc.textFile().first.png

有什么帮助吗?

最佳答案

您的hadoop shell客户端和spark使用不同的解压缩编解码器读取文件。尝试使用正确的扩展名重命名文件。
引用:Reading Compressed Data With Spark Using Unknown File Extensions

关于hadoop - SparkContext无法读取存储在HDFS中的文件,但是命令 “hadoop fs -text”可以正确读取它,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37697577/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com