azure-data-factory - Azure 数据工厂，如何将 blob 数据增量复制到 sql

Question

我有一个 azure blob 容器，其中每 6 小时放置一些带有数据的 json 文件，我想使用 Azure 数据工厂将其复制到 Azure SQL DB。文件的文件模式是这样的:“customer_year_month_day_hour_min_sec.json.data.json”

blob 容器还有其他 json 数据文件，因此我对数据集中的文件进行了过滤。

第一个问题是如何在 blob 数据集上设置文件路径以仅查找我想要的 json 文件？我尝试使用通配符 *.data.json 但这不起作用。我开始工作的唯一文件名通配符是 *.json

第二个问题是如何仅将数据从位于 blob 存储中的新文件(具有特定文件模式)复制到 Azure SQL？我无法控制将数据放入 blob 容器的过程，也无法将文件移动到另一个位置，这使得操作变得更加困难。

请帮忙。

Answer 1

您可以使用 ADF event trigger为达到这个。
将事件触发器定义为 'blob created' 并根据文件名模式指定 blobPathBeginsWith 和 blobPathEndsWith 属性。
对于第一个问题，当针对特定 blob 触发事件触发器时，该事件会将 blob 的文件夹路径和文件名捕获到属性 中。 @triggerBody().folderPath 和 @triggerBody().fileName .您需要将属性映射到管道参数，并在复制事件中将 @pipeline.parameters.parameterName 表达式传递给您的 fileName。
这也回答了第二个问题，每次触发触发器时，您都会在 中获得最新创建的文件的文件名。 @triggerBody().folderPath 和 @triggerBody().fileName .
谢谢。