azure - 如何在复制数据映射中包含 blob 元数据

Question

我正在开发 ADF v2 管道，它将数据从 csv blob 复制到 Azure SQL 数据库表。对于每次加载，我想收集源元数据(例如源 blob 名称)，并将其保存到目标表作为数据沿袭框架的一部分。

我的 blob 源运行以下架构:

1. 商店名称，
2. 商店位置，
3. StoreTaxId。

我的目标表运行以下架构:

1. 商店名称，
2. 商店位置，
3. DwhProcessDate，
4. DwhSourceName。

我不知道如何在复制数据事件的映射部分中正确包含源名称。

目前我有:

1. 定义了一个 [获取元数据1] 事件来获取对 Azure Blob 存储中可用的所有 Blob 的引用
2. 定义了一个 [ForEach1] 事件，迭代表达式 @activity('Get Metadata1').output.childitems 的输出
3. 在 [ForEach1] 事件中，我放置了 [Copy Data1] 事件，其中定义了源和接收器部分。

我正在寻找一种向映射部分添加额外行的方法，这将同样将 @item().name 绑定(bind)到目标列 [DwhSourceName]

感谢所有关于如何实现这一目标的建议。

Answer 1

实际上，根据我的测试，您可以指定列键的动态内容，但不能在管道运行时将blob元数据设置为复制数据映射中的列的值。请参阅此document中提到的规则.

您仍然需要在复制事件之前在源数据中添加 FileName 列。也许您可以使用 Azure Blob Trigger Function获取 blob 文件名，这样当任何数据流入 blob 时，您可以添加 FileName 列。(请引用此案例: How Do I get the Name of The inputBlob That Triggered My Azure Function With Python )