azure - 使用逻辑应用从所有子文件夹中获取特定文件，将它们加载到SQL-Azure

Question

我对数据工厂和逻辑应用程序很陌生(但我对 SSIS 已经有多年经验了)，
我成功使用 DATA FACTORY 将包含 100 个文本文件的文件夹加载到 SQL-Azure
但文件本身未受影响

现在，另一个要求是我循环遍历文件夹以获取具有特定文件扩展名的所有文件，最后，我应该将所有文件从“To_be_processed”文件夹移动(=复制和删除)到“Processed”文件夹

我找不到放置“通配符”等的位置:
例如，获取文件扩展名为 .001, 002, 003, 004, 005, ...until... , 996, 997, 998, 999 (千个文件)的所有文件--> 也在子文件夹中搜索。

是否可以从逻辑应用程序中调用数据工厂？ (虽然这看起来没有必要)

请在此屏幕截图中找到一些更详细的信息:
(点击放大)

预先感谢帮助我探索这项新技术!

Answer 1

有趣的情况。

我同意仅使用逻辑应用来进行额外的文件处理似乎没有必要，但 Azure 数据工厂目前可能无法准确处理您需要的内容...

在向 Azure 数据工厂数据集添加通配符方面，JSON 类型属性 block 中有 3 个可用属性，如下所示。

文件夹路径 - 指定目录。它可以与分区子句一起使用来确定时间片的开始和结束。必填。

文件名 - 指定文件。这又可以与分区子句一起使用来确定时间片的开始和结束。不需要。

文件过滤器 - 这是通配符可用于单个和多个字符的地方。 (*) 表示多个，(?) 表示单个。不需要。

更多信息请点击:https://learn.microsoft.com/en-us/azure/data-factory/data-factory-onprem-file-system-connector

我不得不说，上述任何一个都不适合您的需求，我已经反馈给微软，我们需要一个更灵活的属性，将上述 3 个值组合成 1 个，允许在不同的地方使用通配符，并且按条件分区，不仅仅适用于日期时间值。

也就是说。尝试如下所示的操作。

"typeProperties": {
  "folderPath": "TO_BE_PROCESSED",
  "fileFilter": "17-SKO-??-MD1.*" //looks like 2 middle values in image above
  }

附注；已经针对当前正在审核的文件移动事件提出了 Microsoft 反馈项目。

请参见此处:https://feedback.azure.com/forums/270578-data-factory/suggestions/13427742-move-activity

希望这有帮助