python - 尝试从 Spyder 加载 HDFS 文件时连接被拒绝

Question

我在名为 Spyder 的 Python IDE 中使用 Apache SPARK 和 Python (pyspark)。我正在尝试像这样从 HDFS 加载文件:

hdfs_file = sc.textFile(hdfs_path)

我确保路径正确并且文件存在，但是当我执行命令时我得到下一个错误行:

Py4JJavaError: An error occurred while calling o24.partitions.
: java.net.ConnectException: Call From XXXX.local/127.0.0.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

如何从 HDFS 正确加载文件？

Answer 1

解决了!

它只是启动了 hdfs 服务器。