gpt4 book ai didi

hadoop - Flume-NG:如何使用 Flume-ng 自动读取目录中新添加的文件(Flume 代理的来源)

转载 作者:可可西里 更新时间:2023-11-01 16:07:09 26 4
gpt4 key购买 nike

spooldir 选项用于流式传输特定目录的所有文件。完成整个目录读取后,作业将暂停/停止。但是,如果我想将新文件添加到同一目录中,会发生什么??

我的要求是在任何新文件添加到该特定 spooldir 文件夹时流式传输该目录。

请指教!!!

提前致谢。

最佳答案

假脱机目录源将在文件出现在目录中时继续读取文件,它不会在处理 flume 启动时存在于目录中的文件集后暂停。这就是文档所说的“此源允许您通过将要摄取的文件放入磁盘上的“假脱机”目录来摄取数据。此来源将监视指定目录中的新文件,并在新文件出现时解析事件。”

关于hadoop - Flume-NG:如何使用 Flume-ng 自动读取目录中新添加的文件(Flume 代理的来源),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35413219/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com