Azure 数据流需要几分钟才能触发下一个管道

Question

Azure 数据工厂在 10 毫秒内将数据传输到 Db 中，但我遇到的问题是它需要等待几分钟才能触发下一个管道，最终需要 40 分钟，所有管道传输数据的时间不到 20 毫秒。但不知何故，它等待了几分钟才能触发下一个。

我使用了 Debug模式，并使用 Logic App 触发了 ADF，而没有调试心情。有什么方法可以优化它，我们想从 SSIS 转移到数据流，但有一个时间问题，下一步需要 40 分钟，我们有数百万条记录

所以花了 7 秒将数据传输到数据库，但等待了 6 分钟:( 请查看下面的图片

Answer 1

本文档Monitor data flow performance提到:

Note that you can assume 1 minute of cluster job execution set-up time in your overall performance calculations and if you are using the default Azure Integration Runtime, you may need to add 5 minutes of cluster spin-up time as well.

这也许是一个原因。你可以先按照这个教程Mapping data flows performance and tuning guide .

本文档Execute data flow activity in Azure Data Factory也可以帮助我们提高性能。

选择执行数据流的计算环境。默认值是 Azure 自动解析默认集成运行时。此选择将在与数据工厂位于同一区域的 Spark 环境中执行数据流。计算类型将是作业集群，这意味着计算环境将需要几分钟才能启动。

您可以控制数据流事件的 Spark 执行环境。在 Azure 集成运行时中，可以设置计算类型(通用、内存优化和计算优化)、工作核心数量和生存时间，以使执行引擎与数据流计算要求相匹配。此外，设置 TTL 将允许您维护一个可立即用于作业执行的热集群。

注意:

数据流事件中的集成运行时选择仅适用于管道的触发执行。使用数据流调试管道将针对 8 核默认 Spark 集群执行。

希望这有帮助。