hadoop - 已安装 Spark 但未找到命令 'hdfs' 或 'hadoop'

Question

我是 pyspark 的新用户。我刚刚下载并安装了一个 spark 集群(“spark-2.0.2-bin-hadoop2.7.tgz”)安装后我想访问文件系统(将本地文件上传到集群)。但是当我尝试在命令中输入 hadoop 或 hdfs 时，它会说“找不到命令”。

我要安装 hadoop/HDFS(我以为它内置在 spark 中，我不明白)？

提前致谢。

Answer 1

您必须先安装 hadoop 才能访问 HDFS。关注这个http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

从 apache 站点选择最新版本的 hadoop。完成 hadoop 设置后，转到 spark http://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgz下载这个，提取文件。在 spark-env.sh 中设置 java_home 和 hadoop_home。