bigdata - NiFi内存管理

Question

我只是想了解我们应该如何规划 NiFi 实例的容量。

我们有一个 NiFi 实例，它有大约 500 个流。因此，NiFi canvas 上启用的处理器总数约为 4000。我们同时运行 2-5 个流，不会超过半小时，即我们以 MB 为单位处理数据。

到目前为止它工作正常，但我们经常看到 outofMemory 错误。所以我们将 xms 和 xmx 参数从 4g 增加到 8g，暂时解决了这个问题。但是 future 我们会有更多的流量，我们可能会再次面临内存不足的问题。

那么，任何人都可以帮助制定容量规划矩阵或在发生此类问题之前提出避免此类问题的任何建议吗？例如:- 如果我们启用了 3000 个处理器，有/没有任何处理，则需要 Xg 内存量。

任何有关 NiFi 容量规划的意见都将不胜感激。

提前致谢。

Answer 1

OOM 错误可能由于特定的内存消耗处理器而发生。例如:SplitXML正在将您的整个记录​​加载到内存中，因此它可以加载一个 1GiB 文件。

每个处理器都可以记录应该考虑哪些资源。所有 Apache 处理器(据我所知)都记录在案，因此您可以依赖它们。

顺便说一句，在我们的示例中，SplitXML 可以替换为 SplitRecord这不会将所有记录加载到内存中。

因此，即使您同时使用 1000 个处理器，它们消耗的内存也可能不会像一个处理器将整个 FlowFile 的内容加载到内存中那样多。

检查您正在使用的处理器，并确保您没有使用那样的处理器(还有更多像这样的处理器将整个文档加载到内存中)。