Azure 数据工厂事件副本 : Evaluate column in sink table with @pipeline(). TriggerTime

Question

通过数据工厂 V2，我尝试实现从一个 Azure SQL 数据库到另一个数据库的数据流复制。

我已将源表的所有列与接收器表映射，但在接收器表中我有一个空列，我想在其中输入管道运行时间。

有谁知道如何在接收器表中填充此列而不将其出现在源表中？

下面是我的复制管道的代码

{
"name": "FLD_Item_base",
"properties": {
    "activities": [
        {
            "name": "Copy_Team",
            "description": "copytable",
            "type": "Copy",
            "policy": {
                "timeout": "7.00:00:00",
                "retry": 0,
                "retryIntervalInSeconds": 30,
                "secureOutput": false,
                "secureInput": false
            },
            "typeProperties": {
                "source": {
                    "type": "SqlSource"
                },
                "sink": {
                    "type": "SqlSink",
                    "writeBatchSize": 10000,
                    "preCopyScript": "TRUNCATE TABLE Team_new"
                },
                "enableStaging": false,
                "dataIntegrationUnits": 0,
                "translator": {
                    "type": "TabularTranslator",
                    "columnMappings": {
                        "Code": "Code",
                        "Name": "Name"
                    }
                }
            },
            "inputs": [
                {
                    "referenceName": "Team",
                    "type": "DatasetReference"
                }
            ],
            "outputs": [
                {
                    "referenceName": "Team_new",
                    "type": "DatasetReference"
                  }
              ]
          }
      ]
  }
}

在我的接收器表中，我已经有列data_load，我想在其中插入管道执行日期，但我当前没有映射它。

Answer 1

根据您的情况，请在 SQL Server 接收器中配置 SQL Server 存储过程作为解决方法。

请按照此 doc 中的步骤操作:

第 1 步:配置 Sink 数据集:

第 2 步:在复制事件中配置 Sink 部分，如下所示:

第 3 步:在数据库中，定义与 sqlWriterTableType 同名的表类型。请注意，表类型的架构应与输入数据返回的架构相同。

    CREATE TYPE [dbo].[testType] AS TABLE(
    [ID] [varchar](256) NOT NULL,
    [EXECUTE_TIME] [datetime] NOT NULL
)
GO

第 4 步:在数据库中，定义与 SqlWriterStoredProcedureName 同名的存储过程。它处理来自指定源的输入数据，并合并到输出表中。请注意，存储过程的参数名称应与数据集中定义的“tableName”相同。

Create PROCEDURE convertCsv @ctest [dbo].[testType] READONLY
AS
BEGIN
  MERGE [dbo].[adf] AS target
  USING @ctest AS source
  ON (1=1)
  WHEN NOT MATCHED THEN
      INSERT (id,executeTime)
      VALUES (source.ID,GETDATE());
END