gpt4 book ai didi

azure - 批量处理中批量复制失败重试的方法

转载 作者:行者123 更新时间:2023-12-03 03:48:09 25 4
gpt4 key购买 nike

我有一个 Azure 数据工厂管道,用于将数据从 SQL DB 复制到 Azure Blob。它的工作原理是扫描 SQL 表并查询 BatchRecord 表(一种元数据表),并查找具有相同 projectID 和 UniqueID(仅用于标识客户和帐户的两个 ID)的所有记录。一旦找到所有这些匹配记录,它们就会被分组在一起形成一个批处理。然后,这批记录用于从第二个表中提取记录并将它们移动到 Azure Blob。有许多记录具有相同的projectID和UniqueID(代表同一客户在不同日期进行的多笔交易)。

每个复制事件(以及一些其他代码)都包含在 forEach 循环内。 forEach 循环由查找事件引导,该事件使用projectID 和UniqueID 来确定需要循环多少次。所有复制代码都在 forEach 循环内找到。

由于记录数量较大,每批中的部分复制事件因网络问题而失败。我的问题是:在尝试所有记录一次后,是否有某种方法可以仅重试这些失败的复制事件?也就是说,我想处理所有记录(无论是否失败),然后我只想重新尝试失败的记录。如果可能的话,我还希望能够控制尝试重试的次数(可能重试两次,可能重试十次,具体取决于每个客户的需求)。我怎样才能做到这一点?

最佳答案

ADF 中的复制事件具有重试和重试间隔设置,默认情况下重试设置为 0,因此如果失败则不会重试复制。您可以增加复制事件的重试次数。

enter image description here

关于azure - 批量处理中批量复制失败重试的方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68203760/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com