azure - 是否可以向 azure 数据工厂管道中的数据添加具有特定值的列

Question

我正在将数据从系统 X 复制到 Blob 存储作为 parquet 文件或 Excel 文件，是否可以再添加一个步骤来帮助我使用管道运行 ID 或触发器 ID 添加一列？

提前谢谢您

Answer 1

您从哪里提取数据？如果是数据库，就很简单，可以将其添加到选择数据时使用的sql语句中。例如:

select *, NewColumn='Value' from yourTable

如果您想要针对每个可能的数据源的解决方案，您可以在数据流中使用派生列转换:https://learn.microsoft.com/en-us/azure/data-factory/data-flow-derived-column

您还可以使用字符串函数从管道本身添加数据，例如:

@concat('select *, pipeId= ''', pipeline().RunId,''' from SalesLT.Address')

这将选择所有字段，以及一个名为 pipelineId 的附加字段，该字段每行都具有相同的值，并且将是管道运行 ID。

希望这有帮助!!