Azure数据工厂管道 'On Failure'

Question

我正在设置 ADF 管道以将 blob 复制到 Azure SQL DB。我的管道中有一个迭代事件，其中我设置了一个计数器，仅当 blob 存在时才进行循环和复制。

除了一些随机的 PK 违规之外，这非常有效，我必须手动检查这些违规。因此，我编辑了管道以记录错误，然后继续。所以我就这样设置了管道。 如果复制事件由于主键违规而失败，(暂时)忽略，但使用存储过程记录详细信息并照常继续，即更新循环计数器以获取下一个文件夹。

不幸的是，日志失败的成功不会执行“设置变量”事件。因此它会进入无限循环，不断返回相同的异常，但存储过程事件本身正在正确记录错误消息。

如果我创建一个新的“设置变量”并完全执行 SetLoopVariable 的操作，则似乎没问题。但这意味着我必须复制此后的每个事件以获得两个单独的路径。我觉得这是多余的。

背景:我的文件结构是container/YYYY/MM/dd/HH/mm，每小时至少有一个文件，但不是一天中的每一分钟，所以我要做在尝试复制之前检查该文件夹是否存在。

Answer 1

这是设计使然。仅当复制数据成功并且失败时才会调用 SetVariable，因为 Data Factory V2 Activity Dependencies are a Logical AND .