error-handling - Nifi : send file to HDFS; if fail, wait one second then retry

Question

作为Nifi中ETL流程的一部分，我需要将一些文件发送到HDFS。需要的是检查是否有故障。如果是这样，则需要等待一秒钟，然后重试。如果失败，它将再次等待一秒钟，然后重试。最后，如果失败，它将发送一封电子邮件给我和另一位管理员。最后一部分很容易，我只需要将其发送到“PutEmail”处理器即可。对于重试，我根据本文进行了设置:https://kisstechdocs.wordpress.com/2015/01/15/creating-a-limited-failure-loop-in-nifi/

但是，它不会等到每次重试。我曾想过要添加一个类似于${now():plus(1000)}的表达式，但它期望一个 bool(boolean) 表达式。是否有可能以 bool(boolean) 方式表达相同的想法？还是我需要取消此操作并找到其他方法？在此先感谢您的协助。

Answer 1

为此，请尝试ControlRate，您可以将吞吐量配置为每秒1个流文件，或者根据分组属性调整设置以允许多个流文件通过。例如，如果您一次在队列中获得5个失败的流文件，那么如果每秒“全局”发送1个流文件，则将花费5秒。如果您的用例说您只需要将每个流文件延迟1秒(这意味着在1秒之后，将发送所有5个流文件)，那么我相信您也可以设置属性以支持该操作。

另一种解决方案是脚本处理器，您可以一次读取(可配置)多个流文件，然后延迟一秒钟，然后全部传输。