gpt4 book ai didi

hadoop - 是否可以让 Nifi 放入多个 HDFS 文件夹?

转载 作者:可可西里 更新时间:2023-11-01 16:23:06 26 4
gpt4 key购买 nike

我需要将一堆 json 文件流式传输到 Nifi,然后它会转到 HDFS。 Nifi 需要查看 json 文件中的创建日期(UNIX 格式),然后将其路由到相应的 HDFS 文件夹。到目前为止,我的处理器设置如下:

使用 Kafka -> RouteOnContent(使用正则表达式 ^"creationDate":\"[0-9]{4}-[0-9]{2}-[0-9]{2}$)-> PutHDFS

每天都有一个 HDFS 文件夹,如“2019-01-28”、“2019-01-29”、“2019-01-30”等。但是,“PutHDFS”处理器只会输出到一个单个目录,我显然不想拥有 365 个处理器。据我所知,Nifi 没有办法动态创建 HDFS 文件夹,所以有没有一种优雅的方法来处理这个问题?

最佳答案

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-hadoop-nar/1.8.0/org.apache.nifi.processors.hadoop.PutHDFS/index.html

PutHDFS处理器中有一个参数Directory:

应该写入文件的父 HDFS 目录。如果该目录不存在,将创建该目录。支持表达式语言:true(将使用流文件属性和变量注册表进行评估)

所以你可以为这个参数使用像${creationDate}这样的表达式

关于hadoop - 是否可以让 Nifi 放入多个 HDFS 文件夹?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54410455/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com