azure - 在 Azure 数据工厂中保存触发器参数以更新插入最近修改的行

Question

我当前正在尝试将滚动窗口触发器的 windowStartTime 和 windowEndTime 传递到数据流管道的参数中。根据[本论坛][1]，我无法将触发器参数直接传递到管道中，因此使用[本指南][2]，我需要将以下参数代码 block 添加到触发器中将两个变量传递到 ADF>管理>触发器>触发器代码中的参数 myWindowStart 和 myWindowEnd:

{
"name": "trigger5",
"properties": {
    "annotations": [],
    "runtimeState": "Stopped",
    "pipeline": {
        "pipelineReference": {
            "referenceName": "pipeline1",
            "type": "PipelineReference"
        },
        "parameters": {
            "MyWindowStart": {
                "type": "Expression",
                "value": "@{concat('output',formatDateTime(trigger().outputs.windowStartTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
            },
            "MyWindowEnd": {
                "type": "Expression",
                "value": "@{concat('output',formatDateTime(trigger().outputs.windowEndTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
            }
        }
    },
    //redacted
}

但是，当按“确定”时，代码编辑不会保存。当我重新打开代码时，我所做的任何编辑都不会显示。

有什么想法吗？

<小时/>

完整上下文:我试图将滚动窗口值传递到查询中，以便根据该行的上次修改时间从数据库中提取行，并将这些行更新插入到另一个数据库中。

Answer 1

想通了!下面为也遇到此问题的人发帖。这涉及passing a system variable to the trigger's parameter和 passings parameters from triggers to a dataset .

必须将翻滚触发器的开始和结束时间传递给触发器参数、管道参数、数据流参数、数据源的 SQL 查询，以便仅提取在翻滚窗口之间更新的行。执行时间范围。这会将最近的事务从 SQL 表更新插入到另一个 SQL 表中。

管道设置:

创建2个字符串类型的参数。我将其命名为 MyWindowStart 和 MyWindowEnd 并将值分别设置为“@trigger().outputs.MyWindowStart”和“@trigger().outputs.MyWindowEnd”。这需要一些猜测才能正确。

创建一个最终具有 2 个参数的数据流事件(稍后在数据流事件中创建的“开始”和“结束”)。

将“start”和“end”的值分别设置为“@pipeline().parameters.MyWindowStart”和“@pipeline().parameters.MyWindowEnd”的管道表达式。

Tumbling trigger设置:

管道>触发器>新建/编辑>新触发器>选择翻滚窗口和其他详细信息>确定>触发器运行参数 MyWindowStart 为“@trigger().outputs.windowStartTime”，MyWindowEnd 为“@trigger().outputs.windowEndTime” '

源数据集设置在 upsert data flow事件:

我在数据流事件中创建了两个“字符串”类型的参数(“开始”和“结束”)，并将默认值设置为随机日期值。如果管道将其值设置为其他值，则这些默认值将不会传递到查询中。

查询使用引用数据流参数，并用双引号括起来，参数名称用 '{$ -参数名称- }' 括起来

我花了几天时间才把它做好，但希望人们发现这很有用!