hadoop - Flume 用例 - 将数据从只读文件夹推送到 HDFS

Question

我正在寻找一种使用水槽将日志数据从只读文件夹推送到 hdfs 的方法。据我所知，flume spoolDir 需要写权限才能在完成后更改完整的文件名，所以我想创建一个临时文件夹作为 spoolDir 并使用 rsync 将文件复制到它，然后将其用作 spoolDir。但是，据我所知，一旦 flume (myfile.COMPLETED) 更改了 dest 文件夹中的文件，rsync 进程将再次复制它，对吗？还有其他解决方案吗？

Answer 1

另一个来源是 ExecSource .您可以在单个只读文件上运行 tail 命令并开始处理数据。然而，您必须考虑到这是一个不可靠的来源，因为在将数据放入代理 channel 时无法从错误中恢复。