apache-nifi - 数据流的速率超过出处记录速率。减慢流量以适应

Question

我正在使用 nifi 1.1.0 并在其上运行太多处理器，因此运行负载太大。由于负载过多，处理器运行速度很慢，我收到了一些错误:

The rate of the dataflow is exceeding the provenance recording rate. slowing down flow to accommodate.

我在“nifi.properties”文件中更改了来源存储库的存储大小，但没有改进。我更改了以下属性:

nifi.provenance.repository.max.storage.size = 2 GB

我用谷歌搜索但没有得到正确的解决方案。谁能帮我解决这个问题。

请在下面找到相同的屏幕截图:

Answer 1

该错误属于以下属性。

nifi.provenance.repository.index.threads=1

默认值为 1。

对于在大量 FlowFile 上运行的流，来源事件的索引可能成为瓶颈。

如果是这种情况，将会出现一个公告，指出“数据流的速率超过了出处记录速率。放慢流量以适应。”

如果发生这种情况，增加此属性的值可能会增加来源存储库处理这些记录的速度，从而提高整体吞吐量。

请记住，当您增加分配给一个进程的线程数时，会减少另一个进程可用的线程数。因此，除非遇到上述错误消息，否则您应该将其保留为 1。

为了您的考虑，您可以使用以下最佳实践配置 NiFi

https://community.hortonworks.com/articles/7882/hdfnifi-best-practices-for-setting-up-a-high-perfo.html

您可能会获得更好的结果表现。