Azure 数据工厂参数 - 新手问题

Question

我正在使用 ADF，并尝试利用参数使工作变得更轻松，并减少在 ADF 本身中创建的对象数量。我想做的事情，表面上看起来非常简单，但实际上它让我慢慢发疯。非常感谢任何帮助!

我正在尝试设置一个参数化数据集以用作接收器目标。在该数据集中，我添加了一个名为“filenames”、字符串类型的参数。在连接选项卡中，我已将该参数添加到路径的文件部分。文件夹部分指向我的 Azure Data Lake 文件夹，文件部分设置为:@dataset().filename，这是选择“动态内容”然后选择参数的结果。

到目前为止一切顺利..据我所知，我的接收器目标已准备好接收要写入的“文件名”。

这就是一切出错的地方。

我现在创建一个新管道。我想在该管道内使用值列表或数组，它们代表我要处理的文件的名称。有人告诉我，我需要一个 Foreach 将每个值一次发送一个到 Foreach 后面的 COPY DATA 任务。我对 Foreach 类型循环和行为并不陌生。但是对于我来说，我看不到在哪里设置文件名列表。我可以创建一个参数作为“数组”类型，但是你到底如何填充它呢？

我有另一个用例，这个问题阻止我完成。我认为这个用例是同样的问题，但也许可以更清楚地解释情况。事情是这样的:

我有一个到远程数据库的链接服务。我需要将数据从该数据库(大约 12 个表)复制到数据湖中。目前我有大约 12 个“复制数据”操作链接在一起 - 这很荒谬。我想使用 Foreach 循环将数据从源一个接一个地复制到数据湖。再次，我可以将接收器数据集设置为参数化，很好......但是我到底如何在管道中创建表名的数组/列表以传递给接收器数据集？

我添加了 Foreach 并在 foreach 内添加了“COPY DATA”，但是在哪里添加所有表名称？

非常感谢您的帮助。谢谢。

Answer 1

如果您想手动填充数组的值作为管道参数，您可以使用数组类型创建参数，并使用如下语法设置值:["File1","File2","File3"]

然后，您可以使用 ForEach 事件迭代该数组。

在 ForEach 内部，您引用 @item() 来获取循环所在的当前文件名值。

您还可以使用 Lookup 事件从其他地方获取数据并使用 ForEach 迭代该数据。