hadoop - 如何使用 BDM(Informatica) 将文件从本地文件系统复制到 hdfs 文件系统？

Question

我正在使用 Informatica 版本 10.2.1 并使用 BDM 我想将文件从本地文件系统复制并粘贴到 HDFS 文件系统。我是 BDM 的新手，不知道该怎么做。

目前我已经创建了一个对象并填充了 Read 和 Write 参数。我同时使用 Input Type 和 Output Type 作为 command 并发出命令 hdfs dfs -copyFromLocal -f/tmp/x。 csv/tmp/x

非常感谢任何帮助。

编辑

粘贴错误图片。

Answer 1

Informatica 中的

Command 输入类型用于读取数据。像 cat filename.txt 流出数据以供 Informatica 读取并进一步处理。它并不意味着执行 shell 命令任务。为此，您应该在工作流程中使用 Command task。

ETL 工具从一个来源读取数据，执行转换，然后写入不同的地方，称为目标。

您在这里尝试做的是完全不同的事情，与 ETL 无关。也许您可以使用一个简单的 shell 脚本？

如果您仍然希望以正确的方式使用 Informatica 完成此操作，则需要定义源、定义目标并映射数据端口。如果您有问题，请回来。

最后一点:您需要确保集成服务器可以访问源位置。这似乎是您的本地文件，可能无法从远程服务器访问。