azure - 运行 noteboot 时获取 Azure Synapse 管道运行 ID

Question

如何在 synapse 笔记本中使用 python SDK 获取 Azure Synapse Pipeline 运行 ID？我有一个每天进行批量预测的机器学习管道。我想要做的是将管道运行 ID 保存在我在 synapse 中运行的笔记本之一中创建的 DataFrame 中。

我正在使用以下主要事件来运行我的管道:

• 笔记本:我使用突触笔记本使用 pandas 从 Blob 预处理中读取一些 Parquet 文件，然后再次保存在另一个 Blob 中。

我发现您可以将系统变量与管道运行 ID 一起放入文件名中。但我现在想知道是否有办法获取当前管道运行 ID 并且我的笔记本正在使用 azure python sdk 执行

Answer 1

您可以使用 Synapse 笔记本单元中的切换参数单元选项来完成此操作。

在突触笔记本单元格中使用“切换参数单元格”选项，并给出任何参数名称并为其分配任何值。 (这里我给出了空字符串)。

在管道的笔记本事件中，使用基本参数并为其指定相同的名称和相同的数据类型。在参数的动态内容中给出 @pipeline().RunId 如下所示。

执行此事件并转到监视器 -> 管道运行 -> 您的管道 -> Notebook 事件快照，您可以看到 Notebook 的输出。

您可以根据需要在笔记本中使用此参数。