azure-data-factory - 数据流和管道之间的区别

Question

我不明白 Azure 数据工厂中数据流和管道之间的区别。

我已经阅读并看到 DataFlow 可以在不编写任何代码行的情况下转换数据。

但是我做了一个管道，这是完全一样的事情。

谢谢

Answer 1

管道是协调器，不会转换数据。它管理一系列一个或多个事件，例如复制数据或执行存储过程。数据流是这些事件类型之一，与管道非常不同。

数据流执行行和列级别的转换，例如解析值、计算、添加/重命名/删除列，甚至添加或删除行。在运行时，数据流在 Spark 环境中执行，而不是在数据工厂执行运行时中执行。

管道可以在没有数据流的情况下运行，但数据流不能在没有管道的情况下运行。