hadoop - 尝试从HDFS读取文件时，Pentaho的 “Hadoop File Input”(勺子)始终显示错误

Question

我是Pentaho和Spoon的新手，我试图通过Spoon(Pentaho)中带有“Hadoop文件输入”项的本地Hadoop节点处理文件。问题在于，到目前为止，我尝试过的每个URI似乎都不正确。我不知道如何真正从Pentaho连接到HDFS。
为了明确起见，正确的URI是:

hdfs://localhost:9001/user/data/prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv

我知道它是正确的，因为我通过命令行对其进行了测试，并且效果很好:

hdfs dfs -ls hdfs://localhost:9001/user/data/prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv 

因此，将环境字段设置为“静态”，以下是我在Spoon中尝试过的一些URI:

hdfs:// localhost:9001 / user / data / prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv

hdfs:// localhost:8020 / user / data / prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv

hdfs://本地主机:9001

hdfs:// localhost:9001 / user / data / prueba_concepto /

hdfs:// localhost:9001 / user / data / prueba_concepto

hdfs:///

我什至尝试了GarciGarcía在这里提供的解决方案: Pentaho Hadoop File Input
将端口设置为8020并使用以下uri:

hdfs:// catalin:@localhost:8020 / user / data / prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv

然后将其更改回9001并尝试相同的技术:

hdfs:// catalin:@localhost:9001 / user / data / prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv

但是对于我来说仍然没有任何效果……每当我按Mostrar Fichero ...按钮(显示文件)时，都会弹出一个错误消息，提示找不到该文件。
I added a "Hadoop File Input" image here.
谢谢。

Answer 1

Okey，所以我实际上解决了这个问题。

我必须从“查看”选项卡中添加一个新的Hadoop群集->右键单击Hadoop群集->新建

在那里，我必须输入我的HDFS Hadoop配置:

存储:HDFS

主机名:localhost

端口:9001(默认为8020)

用户名:catalin

密码:(无密码)

此后，如果您单击“测试”按钮，则某些测试将失败。通过将我在LOCAL Hadoop配置文件($ LOCAL_HADOOP_HOME / etc / hadoop / core-site.xml)中拥有的所有配置属性复制到勺子的hadoop配置文件中，我解决了第二个问题:

data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp25/core-site.xml

之后，我不得不修改data-integration / plugins / pentaho-big-data-plugin / plugin.properties并将属性“active.hadoop.configuration”设置为hdp25:

active.hadoop.configuration=hdp25

重新启动汤匙，您就可以走了。