apache-nifi - Nifi和迷你NiFi(MiNiFi)的区别

Question

我只是想知道 mini NiFi MiNiFi 与 NiFi 有何不同？

我们还有其他功能吗？为什么需要介绍它？

任何想法或链接都会有很大帮助。

Answer 1

Apache NiFi是一个强大且安全的框架，用于跨多个系统路由、转换和交付数据。 NiFi 可以与其他应用程序并行运行，但当整个系统(或集群中的多个系统)专用时，它的性能最佳。它通常使用 TB 级的 SAN 或 RAID 存储来存储其摄取的大量内容及其生成的来源。 UI 允许多个用户在同一台​​计算机上或跨集群同时快速修改流。 NiFi 的最新候选版本 (1.1.0 RC1) 包括超过 170 个处理器，用于与各种系统和操作进行自定义集成，压缩下载后的大小为 762 MB。换句话说，NiFi是一个服务器级应用程序。

Apache MiNiFi开发的初衷是为了将 NiFi 的功能作为“代理”带到“边缘”——从 IoT 和桌面级设备访问数据，并尽早应用 NiFi 的主要功能。现在可以从各种协议(protocol)收集数据，立即生成数据来源以实现更全面的治理和透明度，在源头应用轻量转换，进行加密，确定优先级，并冗余地路由回在云中完成的更强大的转换或数据中心。

现在，所有这些行为都可以使用自定义脚本来执行，但是接下来会遇到命令和控制(C2)的问题。现有数百、数千甚至数百万个此类设备，如何监控和清除每个设备，以及当流量需要改变时会发生什么？它可能是向新端点报告，更新收集或传输的频率，或者处理来自设备的新指标或元数据。此手动过程无法扩展。通过 MiNiFi 与 NiFi 的集成，可以使用 NiFi 中的 UI 开发流程，并透明地转换为 MiNiFi 流程，并推送到世界各地的代理类别。

通过手动修改以删除不必要的处理器和功能，NiFi 可以进行调整以适合 Raspberry Pi。但它仍然需要 JVM，并且有很多设备不支持它。 MiNiFi 提供 Java 和 C++ 版本，其占用空间大小完全不同 - Java 代理 (tar) 为 39 MB，C++ 代理 (tar) 为 310K )。

最近在 TU-Automotive Detroit 展会上进行的演示是 MiNiFi 强大功能和实用性的一个很好的例子，其中 MiNiFi 被加载到 custom Qualcomm modem 上。位于“联网汽车”中。当汽车行驶时，整个汽车的组件会生成大量数据，并通过 CANBUS 进行路由以进行处理。有些数据对于实时流回远程处理中心非常重要——这些数据是通过 LTE 连接传输的。 LTE 已广泛使用，但带宽昂贵。同时，可以对更大但时间相关性较低的数据(系统诊断等)进行批处理和压缩，然后在汽车处于已知热点范围内时通过 WiFi 批量发送。 MiNiFi 通过地理丰富和控制平面反馈来协调所有流量决策和路由。这是Joe Niemiec explaining the process and showing the flow的短视频。

您可以将该演示推断到许多其他用例。将 MiNiFi 视为“好客人”是有帮助的——一个运行在可能专用于不同主要目的的硬件上的轻量级代理。无论是物联网、收银机/销售点系统、汽车调制解调器、物理传感器等，都与 MiNiFi 无关——它的工作是处理和泄露这些数据，同时不从主要功能中占用不必要的资源。与 NiFi 相比，NiFi 可以与其他应用程序同时运行，但理想情况下它拥有专用资源，可以最大限度地提高自身性能。