azure - 批量处理中批量复制失败重试的方法

Question

我有一个 Azure 数据工厂管道，用于将数据从 SQL DB 复制到 Azure Blob。它的工作原理是扫描 SQL 表并查询 BatchRecord 表(一种元数据表)，并查找具有相同 projectID 和 UniqueID(仅用于标识客户和帐户的两个 ID)的所有记录。一旦找到所有这些匹配记录，它们就会被分组在一起形成一个批处理。然后，这批记录用于从第二个表中提取记录并将它们移动到 Azure Blob。有许多记录具有相同的projectID和UniqueID(代表同一客户在不同日期进行的多笔交易)。

每个复制事件(以及一些其他代码)都包含在 forEach 循环内。 forEach 循环由查找事件引导，该事件使用projectID 和UniqueID 来确定需要循环多少次。所有复制代码都在 forEach 循环内找到。

由于记录数量较大，每批中的部分复制事件因网络问题而失败。我的问题是:在尝试所有记录一次后，是否有某种方法可以仅重试这些失败的复制事件？也就是说，我想处理所有记录(无论是否失败)，然后我只想重新尝试失败的记录。如果可能的话，我还希望能够控制尝试重试的次数(可能重试两次，可能重试十次，具体取决于每个客户的需求)。我怎样才能做到这一点？

Answer 1

ADF 中的复制事件具有重试和重试间隔设置，默认情况下重试设置为 0，因此如果失败则不会重试复制。您可以增加复制事件的重试次数。