sql - Azure DataFactory管道超时

Question

目前我们有一个超过20万条记录的表，因此当我们将数据从源azure sql数据库移动到另一个sql数据库时，需要很长时间，超过3小时导致超时错误，最初我们将超时设置为1小时，但是由于超时错误，我们必须将超时间隔增加到 3 小时，但它仍然不起作用。

这就是我们定义流程的方式。

1. 两个数据集 -> 输入和输出
2. 一条管道在管道内部，我们有一个类似 select * from table 的查询；我们有存储过程，它的脚本就像
3. 从表中删除所有记录。
4. 插入语句插入所有记录。

这非常耗时，因此我们决定更新并插入根据过去 24 小时内的日期列修改或插入的任何数据。

Azure Pipeline 中是否有任何功能可以检查过去 24 小时内在源 Azure sql 数据库中插入或更新的记录，或者我们是否需要在目标 sql 存储过程中执行此操作。

Answer 1

在 Azure 数据工厂中，我们有一个选项，例如 writeBatchsize。我们可以设置这个值来间隔刷新数据，而不是每条记录刷新。