hadoop - 无法使用 PDI 步骤连接到 HDFS

Question

我已经在 Windows 8 系统的 Ubuntu 14.04 VM 中成功配置了 Hadoop 2.4。Hadoop 安装工作绝对正常，而且我能够从我的 Windows 浏览器查看 Namenode。下面附上图片:

所以，我的主机名是:ubuntu 和 hdfs 端口:9000(如果我错了请纠正我)。

核心网站.xml :

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://ubuntu:9000</value>
</property>

问题出在从我的 Pentaho 数据集成工具连接到 HDFS 时。下面附上图片。PDI 版本:4.4.0使用的步骤:Hadoop 复制文件

请帮助我使用 PDI 连接到 HDFS。我需要为此安装或更新任何 jar 吗？如果您需要更多信息，请告诉我。

Answer 1

PDI 4.4 afaik 不支持 Hadoop 2.4。在任何情况下，文件中都有一个属性，您必须将其设置为使用特定的 Hadoop 配置(您可能会在论坛等中看到“Hadoop 配置”被称为“垫片”)。在 data-integration/plugins/pentaho-big-data-plugin/plugin.properties 文件中有一个名为 active.hadoop.configuration 的属性，它默认设置为“hadoop-20”，它指的是 Apache Hadoop 0.20。 x分布。您需要将其设置为 Pentaho 附带的“最新”发行版，或者按照我的博客文章中的描述构建您自己的 shim:

http://funpdi.blogspot.com/2013/03/pentaho-data-integration-44-and-hadoop.html

即将推出的 PDI 版本 (5.2+) 将支持包括 Hadoop 2.4+ 在内的供应商发行版，因此请密切关注 PDI Marketplace 和 pentaho.com :)