gpt4 book ai didi

apache-nifi - 按指定顺序合并流文件

转载 作者:行者123 更新时间:2023-12-01 13:16:43 25 4
gpt4 key购买 nike

我是 nifi 的新手(使用 1.8.0 版)。我需要使用每条消息以 lat,lon 形式包含车辆位置的 kafka 消息。由于每条消息都将作为流文件到达,我需要合并所有这些流文件并制作一个包含车辆后跟的完整路径的 json 文件。我正在使用 consume kafka 处理器来订阅消息,更新属性处理器(添加的属性是文件名:${getStateValue(“seq”)},seq:${getStateValue(“seq”):plus(1)})添加一个序列号作为文件名(例如文件名是 1,2,3 等)并让文件处理器将这些文件写入指定目录。我已经在上述处理器之间的所有成功关系上配置了 FIFO 优先级队列。一次,我收到了我想要合并所有流文件的所有消息。为此,我知道我必须分别使用获取文件、执行命令、合并内容(合并策略:装箱算法,合并格式:二进制串联)和放置文件处理器。我的方法正确吗?我应该如何确定文件的合并是按照文件名的顺序进行的,因为文件名是一个序列号。我应该在强制订单处理器的订单属性中放什么?应该在组标识符中放什么?是否有更多自定义字段要添加到强制订单处理器中?

最佳答案

EnforceOrder 处理器 documentation

1.组标识符

  • 此属性针对您的案例使用 UpdateAttribute 处理器评估每个流文件,添加 group_name 属性并使用Group Identifier 属性值中的相同 ${group_name} 属性。

2.订单属性

  • 不支持表达语言。

  • 您可以使用filename(或)创建新属性UpdateAttribute 处理器并在您的Order Attribute 属性值。

引用/使用执行命令处理器使用this模板并上传到您的 NiFi 实例。

关于apache-nifi - 按指定顺序合并流文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54138504/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com