azure - 使用 ADF 将子目录中的文件复制到 azure 存储

Question

我有一个这样的文件夹结构:

folder1/folder2
               /YearNumber1
                           /monthYear1
                                     /somefile.csv, tbFiles.csv
                           /monthYear2
                                     /somefile2.csv, tbFiles2.csv
                           ...(many folders as above)
               /YearNumber2
                           /montYear11
                                      /somefileXXYYZz.csv, otherFile.csv
                           /monthYear12
                                       /someFileRandom.csv. dedFile.csv
                           ...(many folders as above)

来源:二进制，通过文件共享链接服务链接

目的地:二进制，位于 azure blob 存储上

我不想保留结构，只需复制所有 csv 文件。

使用复制事件:

Wildcard Path: @concat('folder1/folder2/','*/','*/',) / '*.csv'

使用递归

但它什么也没复制，0 字节。

Answer 1

您可以在CopyActivity源设置中使用以下选项:

1. 文件路径类型

允许的通配符有:*(匹配零个或多个字符)和?(匹配零个或单个字符)；如果您的实际文件夹名称中包含通配符或此转义字符，请使用 ^ 进行转义。
有关更多示例，请参阅 MS 官方文档 Folder and file filter examples .

• wildcardFolderPath - 在数据集中配置的文件系统下包含通配符的文件夹路径，用于过滤源文件夹。
• wildcardFileName - 您的文件系统下带有通配符的文件名+folderPath/wildcardFolderPath，用于过滤源文件。

2. recursive - 设置为 true 时，将从子文件夹中递归读取数据。

示例:

如果源目录中只有 .csv 文件，您只需将 wildcardFileName 指定为 *