Azure 数据工厂 - 如何触发计划/一次性管道？

Question

背景:我已安排运行管道以将数据从源复制到目标。该任务计划每天在特定时间运行。

问题:管道的输入数据集是外部的，并且在特定时间间隔不可用。这意味着复制事件必须等到管道中提到的计划开始时间才能开始。考虑到数据量，我不想在这里浪费时间。

要求:在任何给定时间，我都可以访问我的输入数据集可用的时间。有了这个，我想知道如何从 C# 触发 ADF 管道，尽管它计划仅在特定时间启动。

Answer 1

我遇到了同样的问题，仅当本地作业完成时我才需要运行管道。为此，我修改了本地作业以启动管道作为最后一步。我有一篇文章here了解如何使用 C# 启动 ADF 管道。 Here是 ADF 开发人员引用的链接，该引用也可能有帮助。我还有一个例子here如果您感兴趣，请了解如何从 Azure Functions 触发 ADF 管道。这使用了第一个示例中的相同代码，但我受益于在云中运行整个过程以及使用 azure 函数调度程序的能力。

这里是修改管道的相关方法。您需要根据您希望切片运行的时间更改开始和结束日期。

public void StartPipeline(string resourceGroup, string dataFactory, string pipelineName, DateTime slice)
    {
        var pipeline = inner_client.Pipelines.Get(resourceGroup, dataFactory, pipelineName);

        pipeline.Pipeline.Properties.Start = DateTime.Parse($"{slice.Date:yyyy-MM-dd}T00:00:00Z");
        pipeline.Pipeline.Properties.End = DateTime.Parse($"{slice.Date:yyyy-MM-dd}T23:59:59Z");
        pipeline.Pipeline.Properties.IsPaused = false;

        inner_client.Pipelines.CreateOrUpdate(resourceGroup, dataFactory, new PipelineCreateOrUpdateParameters()
        {
            Pipeline = pipeline.Pipeline
        });
    }