gpt4 book ai didi

python - Hadoop获得了Expected JSON。是否启用了WebHDFS?得到了 ''

转载 作者:行者123 更新时间:2023-12-02 20:19:30 28 4
gpt4 key购买 nike

当我尝试时,我已经在hadoop中有服务器的csv文件

hdfs = pyhdfs.HdfsClient(hosts='34.71.193.160:8123', user_name='root')

files_name = hdfs.listdir('/user/input/')

收到此错误消息,找不到解决方法
HdfsException: Expected JSON. Is WebHDFS enabled? Got ''

最佳答案

I'm doing the stuff on Jupyte Notebook Pyspark



Spark可以直接从NameNode读取。不要使用WebHDFS

例如逐行读取目录中的所有文件
df = spark.read.csv("/user/input")
df.show()

关于python - Hadoop获得了Expected JSON。是否启用了WebHDFS?得到了 '',我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61299608/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com