Azure ADF V2 ForEach 文件将数据从 Blob 存储复制到 SQL 表

Question

我需要设计一个 ADF 管道，将在名为“Current”的特定 Blob 存储文件夹路径上创建的 CSV 文件复制到 SQL 表。成功复制后，我必须将文件移动到存档文件夹。

我已完成的事情:我正在使用复制数据事件来复制 CSV 文件并加载到我的 SQL 表中。成功后，另一个复制数据事件会将 CSV 文件从“当前”文件夹复制到“存档”，之后我有一个删除事件，从当前文件夹中删除该文件。

问题:如果一次只有一个文件，这完全没问题。但我想重新设计它来处理多个文件导入。我想利用 ForEach 事件。请帮忙。

Answer 1

您需要在 for-each 之前添加“获取元数据”事件。获取元数据事件将获取当前目录中的文件并将它们传递给 For-Each。将其连接到 Blob 存储文件夹并指定文件掩码。事件的输出需要作为 for-each 循环的输入。像这样的东西..@activity('获取元数据').output。 顺便问一下，您如何触发此 ADF 管道？实现此目的的另一种方法是设置一个事件触发器，以便在该 blob 目录中创建文件时运行此管道。 以下是对存储容器中的文件使用 For-Each 的步骤。

1. 将“获取元数据”参数设置为“子项”
2. 在 For-Each 中将 Items 设置为 @activity('Get Metadata1').output.childitems

在复制事件中使用的源数据集中创建一个名为 FileName 的参数。

设置要使用参数的文件路径

在复制事件中将 FileName 参数设置为 @item().name

要完成此操作，您需要将水槽设置为您需要的任何位置。应该可以了。