hadoop - nifi putHDFS 写入本地文件系统

Question

挑战

我目前有两个 hortonworks 集群，一个 NIFI 集群和一个 HDFS 集群，想使用 NIFI 写入 HDFS。

在 NIFI 集群上，我使用连接到 PutHDFS 的简单 GetFile。

当通过它推送文件时，PutHDFS 成功终止。然而，我并没有看到一个文件被拖放到我的 HFDS(在 HDFS 集群上)，我只是看到一个文件被拖放到我运行 NIFI 的本地文件系统上。

这让我很困惑，因此我的问题是:

如何确保 PutHDFS 写入 HDFS，而不是本地文件系统？

---

可能相关的上下文:

• 在 PutHDFS 中，我已链接到 HDFS 集群的 hive-site 和 core-site(我尝试更新所有服务器对 HDFS namenode 的引用，但没有效果)
• 我不在 HDFS 集群上使用 Kerberos(我在 NIFI 集群上使用它)
• 我在 NIFI 应用程序日志中没有看到任何看起来像错误的东西(这是有道理的，因为它成功写入，只是在错误的地方)
• 两个集群都是在 Amazon AWS 上用 CloudBreak 新生成的，对所有流量开放所有节点没有帮​​助

Answer 1

您能否确保使用以下命令将文件从 NiFi 节点移动到 Hadoop:-hadoop fs -put

如果您能够使用上述命令移动您的文件，那么您必须检查您在 PutHDFS 处理器中传递的 Hadoop 配置文件。

此外，请检查您是否没有任何其他流程在运行，以确保没有其他流程正在处理该文件。