apache-nifi - Apache NiFi 处理器中数据来源的目的是什么

Question

对于每个处理器，都有一种配置处理器的方法，并且有一个上下文菜单可以查看数据来源。

对什么是数据来源有很好的解释吗？

Answer 1

数据来源就是了解数据的来源和归属。在典型的系统中，您会得到“日志”。当您考虑流经一系列进程和队列的数据时，您当然会得到很多。如果您想跟踪给定数据所用的路径，或者该路径花费了多长时间，或者一个对象被拆分为不同的对象后发生了什么，等等，所有这些都非常耗时且困难。 NiFi 支持的起源就像登录类固醇一样，都是关于保持和跟踪数据与塑造和影响发生的事情的事件之间的这些关系。 NiFi 正在跟踪每条数据的来源，它对数据的了解，维护跨拆分、连接、转换的路径、发送数据的位置以及最终何时丢弃数据。把它想象成一个数据监管链。

由于几个原因，这确实很有值(value)。一、了解和调试。拥有这种来源捕获意味着从给定的事件中，您可以在流中前进或后退，以查看数据的来源和去向。鉴于 NiFi 在幕后还有一个不可变的版本化内容存储，您还可以使用它在流程的每个阶段直接单击内容。您还可以针对最新流重放给定事件的内容和上下文。这反过来意味着更快地迭代到您想要的配置和结果。由于合规性原因，这种来源模型也很有值(value)。您可以证明您是否将数据发送到了正确的系统。如果您了解到您没有数据，那么您可以使用这些数据来解决问题或创建强大的审计跟踪以进行后续跟踪。

Apache NiFi 中的起源模型非常强大，它正在扩展到 Apache MiNiFi，它也是 Apache NiFi 的一个子项目。产生更多出处的更多系统意味着您具有更强的端到端跟踪数据的能力。当然，当它可以与其他血统系统或集中式血统商店结合使用时，它会变得更加强大。 Apache Atlas 可能是一个很好的系统，可以与之集成以实现集中 View 。 NiFi 不仅可以执行我上面描述的操作，还可以将这些事件发送到这样的中央存储。因此，接下来是激动人心的时刻。

希望有帮助。