java - Flume HDFS接收器自定义文件名

Question

有没有办法在flume存储的HDFS接收器中配置(通过事件动态)文件名？ HDFS接收器提供以下名称配置。

hdfs.filePrefix
hdfs.fileSuffix

Answer 1

是的。您可以通过以下参数配置HDFS接收器中的文件名。

hdfs.filePrefix = <<FILE_PREFIX>>-%{host}-%d-%H-%m-%s
hdfs.fileSuffix = <<FILE_SUFFIX>>-%{host}-%d-%H-%m-%s

%{host} = "It will pick up the hostname of your machine"
%t = "It will provide unix time in milliseconds "
%d= "Date"
%H= "Hour"
%m= "minutes"
%s= "seconds"

因此Flume Bucket writer打开线程到hdfs进行写入，通过使用“Prifix/Suffix”我们可以动态创建文件名。