browser - PDI hadoop文件浏览器无列表

Question

我已经将hadoop单实例集群配置为在centos linux上使用某些IP地址(而不是localhost)运行。我能够正确执行示例mapreduce作业。这告诉我hadoop设置似乎很好。

我还添加了几个数据文件到“/ data”文件夹下的hadoop数据库中，并通过“dfs”命令可见

bin/hadoop dfs -ls /data 

我正在尝试从PDI / Kettle连接到此HDFS系统。在HDFS文件浏览器中，如果我输入的HDFS连接参数不正确，例如错误的端口，它表明它无法连接到HDFS服务器。相反，如果我正确输入了所有参数(server，port，user，password)，然后单击“connect”，则不会给出错误，这意味着它可以连接。但是在文件列表中，它显示为“/”。

不显示数据文件夹。可能出什么问题了？

我已经尝试过了:

使用“bin / hadoop dfs -chmod -R 777 / data”将chmod 777尝试到数据文件

尝试在PDI文件浏览器

中使用root用户以及hdfs linux用户

尝试将数据文件添加到其他位置

几次重新格式化hdfs并再次添加数据文件

将可安装的hadoop-core jar文件从可安装的hadoop复制到PDI extlib

但它不会在PDI浏览器中列出文件。我在PDI日志中也看不到任何内容...需要快速帮助...谢谢!

-阿hay

Answer 1

我克服了这个问题。在Windows上，PDI未在日志文件中记录任何内容。我在linux上尝试了同样的方法，当它在日志中向我显示它缺少Apache的commons-configuration库。我下载了相同版本的最新版本，并将其放在extlib / pentaho文件夹下，然后开始工作!有效 !!