python - 如何在 OS X 上运行 Hadoop？

Question

我有一台 macbook Pro。我想我已经成功安装了 hadoop-streaming 但我不知道它安装在哪里以及 hdfs 在哪里。我已经安装了单节点版本。我正在使用 python 编写代码。我将 mapper.py 和 reducer.py 放在桌面上，还在桌面上放置了一个大文本文件，我将在其上运行程序。我正在学习本教程 http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/问题是我不知道在本教程的“将本地示例数据复制到 HDFS”部分中输入什么路径。我成功地单独运行了 python 文件，并且使用了与教程相同的代码。我使用 brew 安装了 Hadoop。

谢谢

Answer 1

which hadoop

或

echo $HADOOP_HOME 

将为您提供已安装的 hadoop 的路径(如果您已按照所有安装步骤进行操作)

您应该从要传输的文件所在的目录中键入以下命令。或者你可以定义整个路径......

hadoop fs -copyFromLocal /local/path/file.txt /hdfs/path/file.txt

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

更多示例可用 @ [Hadoop Shell 命令]:https://hadoop.apache.org/docs/r0.18.3/hdfs_shell.html#put