http - NiFi中的重试和失败队列优先级

Question

我在NiFi有一个队列，其中包含将通过API查询(invokeHTTP)处理的项目。可以处理这些项目，并正确返回数据的答案(状态200)，找不到(状态404)以及失败(状态500)。
但是，在状态404和500的情况下，可能会出现错误的否定情况，因此，如果我再次查询相同的数据并给出了错误，则它会返回状态200。但是在某些情况下，实际上是失败的，而不是错误的。假阴性。

因此，我创建了一个重试和失败队列，让他们再次输入involeHTTP并查询API。我设置了5分钟的到期时间，以便真正出错的数据不会永远查询该API。
但是，我想优先处理此“失败并重试”队列，以便在数据到达时，将在标准处理队列之前在API中再次对其进行查询，以免丢失导致误报的数据。 。
是否可以通过这种自我关系进行这种处理，或者您需要新的流程文件？

Answer 1

每个队列可以在队列的设置上配置优先级。当前，您有两个单独的InvokeHttp队列，分别是EvaluateJsonPath的匹配关系中的失败/重试队列和传入队列。您需要在InvokeHttp前面放置一个程序，并将这两个队列发送到程序，然后将程序发送到InvokeHttp。这样，您可以为InvokeHttp创建单个传入队列，并在那里配置优先级排序器。
为了正确地对它进行优先级排序，您可能需要使用“流文件属性”优先级排序器。您将使用UpdateAttribute向每个流文件添加一个“优先级”属性，用于失败/重试的属性将获得优先级“A”，而其他流水将获得优先级“B”(或排在A之后的任何内容)。