apache-nifi - GetFile 处理器在 Apache NiFi 中持续运行

Question

我正在使用 Apache NiFi 将一些本地文件复制到 HDFS。
我创建了一个 GetFile处理器绑定(bind)到 PutHDFS处理器。 GetFile处理器递归查询 只读 目录。我遇到的问题是文件被不断复制，例如，如果我在 HDFS 上删除复制的文件，那么它们很快就会重新出现。

在 GetFile处理器配置，我设置了Keep Source File至真实 因为该目录是只读的，并且在 documentation 中指定在只读目录中，如果此参数设置为 假 然后文件被忽略:

If true, the file is not deleted after it has been copied to the Content Repository; this causes the file to be picked up continually and is useful for testing purposes. If not keeping original NiFi will need write permissions on the directory it is pulling from otherwise it will ignore the file.

是否可以简单地将每个文件复制一次？

Answer 1

您可以使用 ListFile和 FetchFile处理器来做到这一点。 ListFile 将跟踪它到目前为止看到的文件，除非它们被修改，否则不会继续列出它们。确保将 FetchFile 中的完成策略设置为“无”，以确保不会尝试移动/删除文件。