apache-nifi - 为什么我的 NiFi 1.11.1 处理器卡在任务上？

Question

我有一组进程组在 1.8.0 NiFi 服务器上愉快地运行。我在一个单独但相似的服务器上启动了一个 NiFi 1.11.1 实例，并在相同的进程组上进行了模板化。在新的 1.11 服务器上，处理器(所有处理器，没有明显的类型差异)处理一小批任务，然后在一个任务上挂起数小时。

重新启动处理器没有明显的影响，重新启动 NiFi 实例本身通常会使处理器在问题再次出现之前很好地运行一两分钟。日志中没有错误，增加内存没有效果，处理器使用率不会超过 20%。

我一直在与正在运行的服务器进行比较，唯一的区别是较新的 NiFi 版本和操作系统的打开文件限制(在我更新以匹配工作服务器之前，这确实导致日志中出现错误语句)。当然，我只检查了我想检查的内容，所以请提出我可能遗漏的任何内容。

我对 NiFi 很陌生，所以如果有我可以用来获取更多信息的诊断或类似方法，请告诉我。

Answer 1

在 Apache NiFi 配置期间，推荐了许多步骤(非平凡部署需要阅读)。在这种情况下，限制行为的特定设置是最大定时器驱动线程计数，这会导致系统上大量处理器的资源争用。

其他资源:

NiFi Admin Guide: Configuration Best Practices

NiFi User Guide: Monitoring of DataFlow - 描述各个组件的监控状态，包括分配的线程

NiFi User Guide: Summary Page - 描述组件行为和处理统计信息的综合 View

Cloudera Community: Understanding NiFi max thread pools and processor concurrent task settings - Matt Clarke 撰写了关于线程池如何工作以及如何配置它们以最大化性能的文章