python - Hadoop沙盒上的Os X流上的python客户端

Question

我想在苹果Mac上编写mapreduce代码-理想情况下使用python-将其流式传输到hadoop沙箱(例如Hortonworks或Cloudera)上。

理想情况下，我的开发设置是使用Apple Mac python环境和hadoop VM沙箱(后来是同一网络上的群集)。

虽然有很多关于如何从hadoop集群的节点内部(例如从NameNode等)连接或流式传输代码的描述，但我不清楚如何从集群外部进行操作。

例如。我假设我需要安装一些hadoop客户端库？
我从哪里获得这些库？

如何安装？

哪种类型的python软件包最有效？

我应该使用哪个IP地址来传输python代码？

任何帮助-以及与此相关的教程的任何链接-都很棒!

Answer 1

您确实需要安装客户端库才能提交作业。

不幸的是，尝试在OS X中提交流作业可能不是最佳选择。我说这是因为OS X没有任何供应商支持的软件包，因此，至少以供应商支持的方式，它不是最容易将Hadoop安装到其上的平台。如果已经准备好设置沙箱，只需在Mac上编写作业并在VM中提交即可。

不过，如果需要，还有一些安装选项。您可以使用homebrew，尽管我不确定将安装哪个版本或是否有特定于供应商的公式。您还可以使用Cloudera tarballs here例如自己下载并构建hadoop。设置完客户端后，您将必须配置mapred-site.xml，core-site.xml和hdfs-site.xml才能与在沙箱VM内运行的群集进行通信。