apache-nifi - GetFile/ListFile/FetchFile 是否可以配置为每个触发器重复列表？

Question

我希望能够在每次触发流程时列出目录中的所有文件。我遇到了以下问题

a) 使用 ListFile + FetchFile - 文件夹中的所有文件只列出一次，但它会记住状态，因此下次运行时它不会列出任何文件，除非文件已被修改。我希望 ListFile + FetchFile 像以前一样运行。我可以去手动删除“状态”信息。但这不是可配置的

b) 使用 GetFile 方法和 KeepSource=true，处理器重复不断地列出文件。它希望它只发生一次。

有没有一种方法可以将其配置为重复列出文件，无论文件是否已更改，并且只列出一次？

Answer 1

我想第一个要问的问题是为什么要重复列出所有内容？

NiFi 是一种构建流程的工具，它旨在处理新数据，而不是一遍又一遍地处理所有数据。您很可能处于以下情况之一:

1. 通过重新设计流程，您不需要重复列出所有内容
2. 你正在做一些 NiFi 不应该做的事情。

有很多工具可以列出文件并且很乐意再次这样做。 (一个简单的 shell 命令，甚至一些 python 或 spark 代码)。

一个。如果您正在寻找协调器:考虑 Oozie 或 Airflow 之类的东西

如果您确实需要，您可以让 Nifi 执行脚本而不是使用 ListFile，但如前所述，您很可能会朝着不应该的方向前进。