hadoop - 通过Cloudera Manager 5安装后如何连接到HDFS集群

Question

我刚刚使用 Cloudera Manager 5(CM5) 在三个节点(n1.example.com、n2.example.com 和 n3.example.com)中使用其默认设置安装了一个 HDFS 集群。节点的虚拟化是在 Parallels (Mac OSX 10.10.1 Yosemite) 中完成的。我能够在任何节点内使用“sudo -h hdfs”查看 HDFS 系统。

现在，我正在尝试使用默认 ID/密码/端口 hdfs/(blank)/8020 从主机操作系统 (Mac OSX) 上的 ETL 工具访问 HDFS 系统。但是我得到“连接被拒绝”。我附上了 ETL 的屏幕截图。

因此，我在 n2 节点上安装了 ETL 工具 (Pentaho Kettle)，并尝试使用服务器中的 localhost 进行连接，但仍然无法正常工作，并出现“连接被拒绝”错误。当我使用诸如“sudo -u hdfs hadoop fs”-ls“/之类的命令时，它工作正常。

我错过了什么吗？

仅供引用，我已经禁用了这三个节点中的防火墙，因为它们实际上是在我的虚拟机环境中运行作为测试。

谢谢!

Answer 1

原来是ETL配置问题。开源 Pentaho 数据集成工具 Kettle 附带 Apache Hadoop 2.0 作为默认插件，需要替换它才能使用我的 CDH 发行版。

也就是说，我需要修改文件 data-integration/plugins/pentaho-big-data-plugin/plugin.properties 以替换现有的行:

active.hadoop.configuration=cdh51

以下是 Pentaho 网站的详细信息: http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version .