azure-data-factory - Azure 数据工厂 v2 : Customize execute pipeline activity

Question

我正在尝试创建一个主管道，它将检查是否必须使用数据库中的配置来运行子管道。子管道的名称是主管道的参数。我们想使用传递给项目的参数来选择执行管道事件的管道名称。最终目标是如果我们已经检索到数据，我们不想再次从源中获取数据。如果整个 ETL 过程中有任何错误，我们希望避免运行已经完成的管道。

我试图避免创建自定义事件，因为它需要 Azure Batch 帐户。

有什么想法吗？

Answer 1

您是否考虑过使用 powershell 脚本调用管道？从这里安装 Azure SDK for powershell https://azure.microsoft.com/en-us/downloads/你可以让管道与它一起运行。如果您以某种方式获得要运行的管道的名称，我认为这是处理您想做的事情的最简单方法。

这是从 powershell(安装了 azure sdk)调用管道的方式:

$SubscriptionName = "yourSubscName"
$ResourceGroupName = "your RG name"
$DFName = "your data factory name"
$PipeName = "your pipeline name"
Login-AzureRmAccount
Select-AzureRmSubscription -SubscriptionName $SubscriptionName
Invoke-AzureRmDataFactoryV2Pipeline -DataFactoryName $DFName -ResourceGroupName $ResourceGroupName -PipelineName $PipeName

就是这样!您可以从本地电脑或使用 Azure Automation(免费)运行此脚本。对于 Azure 自动化，您可能需要对其进行一些修改，但基本思想是相同的。

希望这对您有所帮助!

PS:要运行此脚本，您必须手动登录到 azure，但有一些方法可以使它自动化，我没有解释以缩短它。