Azure 数据工厂从文件夹开始的副本

Question

我正在尝试在两个 Azure Data Lakes GEN1 之间创建复制事件。我不需要从源数据湖复制所有文件夹，例如，如果我有以下目录结构:

rootFolder/subfolder/2015
rootFolder/subfolder/2016
rootFolder/subfolder/2017
rootFolder/subfolder/2018
rootFolder/subfolder/2019
rootFolder/subfolder/2020

我只想从 2017 年开始复制文件夹中的数据。

是否有一种方法可以自动实现此功能，而无需将字段指定为参数并在管道运行时进行设置？

Answer 1

使用Get MetaData事件，For Each Activity , If Condition Activity可以实现你的需求，请引用我的想法:

首先，我的测试文件位于 ADLS 中，如下所示:

test1.json 2016 年，test2.json 2017 年，test3.json 2018 年

在 ADF 中，第一层:

获取元数据事件的数据集:

每个事件的配置:

然后，第二层:

最后，第三层:

复制事件中的源数据集:

测试结果，仅拉出了test1和test2。

所以，它确实对我有用。如有任何疑问，请告诉我。