azure-data-factory - 在 Azure 数据工厂映射数据流中使用参数化数据集

Question

通过数据工厂映射数据流引用时，我无法使用参数化数据集。

我正在尝试编写一个通用 ELT 管道，该管道将从 blob 存储中的 CSV 文件读取并将其写入 Azure SQL 数据库中的表。

使用复制事件时，一切正常(请参阅管道“使用复制事件将 CSV 文件导入通用 SQL 表”)。

从 blob 存储中读取 CSV 文件(作为参数传递到数据工厂管道中的文件名)。
CSV 文件的结构是使用获取元数据事件确定的。

CSV 文件的结构被传递给 SQL Server 存储过程，该存储过程定位与 CSV 文件具有相同结构的 View 。如果不存在具有相同结构的 View ，则会创建表和 View 。在任何一种情况下，模式名称和 View 名称都会传递回管道。然后读取 CSV 文件的内容并将其写入 SQL Server View 。

这很有效，但我没有机会向每个写入的行添加元数据。所以我创建了一个映射数据流，它将使用派生列转换添加元数据(数据工厂名称、数据工厂管道名称、数据工厂管道运行 ID)。

当我尝试调试数据流时，出现错误 "An error occurred, please view notification for more details."我找不到任何提供错误信息的通知。

当我使用带有硬编码文件名的数据集时，数据流有效。当我切换到参数化数据流(传入参数，如 pipeline().DataFactory 等)时，就会出现错误。

我已经尝试对映射数据流参数值进行硬编码，但仍然没有乐趣。

模板通过了验证，但如果我尝试通过触发管道来运行管道“使用数据流将 CSV 文件导入通用 SQL 表”，它会很快失败并给我一条神秘的错误消息:

ErrorCode=InvalidTemplate, ErrorMessage=Unable to parse expression 'body('Copy Generic CSV Source to Generic SQL SinkComposeRuntimeVariables')?.Copy Generic CSV Source to Generic SQL Sinkd7ea532482e64afc88501b46924214b3?.ReadFromSourceCSVFileInBlobStorage.FileName'

有任何 Azure 数据工厂专家愿意伸出援手吗？

所有源代码均可在 https://github.com/marc-jellinek/AzureDataFactoryDemo_GenericSqlSink 获得

提前致谢!

Answer 1

问题是数据流的名称中有空格。

The issue is parameter expression is not supported for data flow whichhas whitespaces in the name. Could you try to rename your data flow“Copy Generic CSV Source to Generic SQL SinkComposeRuntimeVariables”and then preview? Meanwhile we will add more validation on UX side tohandle the naming restriction of data flow properly.

我已经从数据流的名称中删除了空格并成功测试。