hadoop - 如何将mac连接到hadoop/hdfs集群

Question

我有用于在集群中运行的 CDH，并且我可以通过 ssh 访问机器。我需要将我的 Mac 连接到集群，所以如果我执行 hadoop fs -ls ，它应该会显示集群的内容。我配置了HADOOP_CONF指向集群的配置。我在我的集​​群中运行 CDH4。我在这里遗漏了什么吗，可以连接吗？

我需要做一些 ssh key 设置吗？

Answer 1

您需要确保执行此操作的一些事项:

1. 您需要将您的 HADOOP_CONF_DIR 环境变量设置为指向一个目录，该目录包含指向您的集群的配置 XML。
2. 您的 Mac 应该能够直接访问构成集群的主机(所有主机)。这可以通过 VPN 完成，例如 - 如果集群不受外部网络的影响。
3. 您的 Mac 应搭载与集群运行的相同版本的 Hadoop。