azure - 使用 ADF，如何将文件名加载到 SQL Server 表中？

Question

我正在尝试同时使用 GetMetadata 事件和 CopyData 事件。我的设置如下所示。

我正在尝试获取文件名(使用 GetMetadata)并将它们加载到 SQL Server 表中的字段中(与 CopyData 结合使用)。 CopyData 工作得很好，但我没有看到任何方法让 GetMetadata 获取文件名并将其传递到表中的字段中。在我的示例中，源数据中有 4 个字段与目标表中的 4 个字段匹配。第 5 个字段大概是文件名。显然，它实际上并不是这样工作的。我通读了下面的文档，但仍然无法弄清楚。

https://learn.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity

Answer 1

2020 年 7 月更新

复制事件最近添加了一项新功能，允许您添加列，$$FILEPATH 是当前唯一受支持的变量。请参阅此处了解更多详细信息:

https://learn.microsoft.com/en-us/azure/data-factory/copy-activity-overview#add-additional-columns-during-copy

<小时/>

原始答案

向数据集添加额外的列可能会被视为转换，而 Azure 数据工厂 v2 (ADF v2) 复制任务并不容易进行转换。它可以做一些事情，例如从一种格式(例如 csv)转换为其他格式(例如 JSON)，但它是有限的。也许在将来的某个时候，他们会在映射中添加一些内容，允许添加字符串文字或类似于 SSIS 派生列功能的内容，但目前看来，这些类型的功能正在添加到映射数据流中。

然而，实现此目的的一种方法是使用带有文件名参数和主数据集表类型参数的存储过程目标。它看起来有点像这样:

缺点是您现在必须在数据库中创建一个支持表类型(CREATE TYPE)和一个存储过程来处理它，如下所示:

CREATE TYPE dbo.typ_multiFile AS TABLE (
    col1    CHAR(1) NOT NULL,
    col2    CHAR(1) NOT NULL,
    col3    CHAR(1) NOT NULL
)
GO


CREATE OR ALTER PROC dbo.usp_ins_myTable (
    @fileName       AS VARCHAR (100),
    @typ            AS dbo.typ_multiFile READONLY
    )
AS
SET NOCOUNT ON

INSERT INTO dbo.myTable ( [fileName], col1, col2, col3 )
SELECT @fileName, col1, col2, col3
FROM @typ 

RETURN
GO

请注意，复制任务位于 ForEach 任务内，如下图所示: