apache-nifi - 如何为单个流文件指定优先级属性？

Question

我需要在 NiFi 中使用 PrioritizeAttributePrioritizer。

我观察到以下引用中的优先级。
https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#settings

如果我收到 10 个流文件，那么我需要将每个流文件的优先级值设置为唯一的。

之后指定队列配置必须是PrioritizeAttributePrioritizer。

然后根据优先级值处理流文件。

如何为单独的流文件设置优先级值或 Nifi 中的哪个优先级适合我的情况？

Answer 1

PriorityAttributePrioritizer 通过查找名为“priority”的流文件属性并根据优先级的值按字典顺​​序对流文件进行排序来确定流文件的优先级。

您可以使用 UpdateAttribute 处理器设置优先级属性。例如，如果您有三个逻辑数据提要，提要 #1 最重要，提要 #2 第二重要，提要 #3 第三，那么您可以使用三个 UpdateAttribute 处理器将优先级属性设置为 1、2 , 和 3，然后使用漏斗将它们全部收敛。

您将在漏斗和下一个处理器之间的队列上设置 PriorityAttributePrioritizer，此时任何时候优先级 = 1 的流文件命中队列，它将始终在优先级 = 2 和优先级 = 3 的任何流文件之前处理.

确定如何设置优先级实际上取决于您的数据。它通常基于有关数据的某些内容，例如每个流文件中的一个字段被提取到一个属性以告诉它优先级，或者只知道来自源 #1 的所有内容的优先级高于来自源 #2 的所有内容.随机设置唯一的优先级并没有什么意义，因为你甚至不知道你在优先考虑什么。