azure - 无法使用数据工厂管道将数据从 azure data Lake gen2 复制到 azure sql db

Question

“Sink”端发生故障。 ErrorCode=UserErrorInvalidColumnName，'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException，Message=在目标端找不到列 Prop_0，Source=Microsoft.DataTransfer.ClientLibrary。

ADLS GEN2 中的所有零件文件都有 8 列，接收器表也有 8 列，并且零件文件中没有名为 Prop_0 的此类列。

输入是保存在 ADLS GEN2 中的零件文件 -

其中一个零件文件的内容 -

ADF 上的映射 -

在 Azure 查询编辑器上执行的 SQL 查询的输出 -

Answer 1

当您的源文件没有标题(或者当您有源文件标题时将第一行视为标题)并且您尚未启用列映射选项时，您会收到此错误。当源文件没有标题(或未启用)时，Prop_0、Prop_1 等将充当列名称。

在这种情况下，当您禁用列映射选项(清除或跳过)时，复制事件将尝试使用名称从源插入列，仅当它们与您的接收器(表)匹配时。在下图中，我尚未导入架构(已跳过)，并且在运行管道时它会引发相同的错误。

由于您的目标没有 Prop_0 列，因此会引发以下错误:

请按照下面指定的步骤纠正此错误:

• 首先确定您的源零件文件是否有 header 。然后通过选中/取消选中第一行作为标题选项来编辑源数据集。在管道的源选项卡中发布并预览此数据。

• 移至映射部分并点击导入架构(清除并根据需要再次导入)。如有必要，请根据您的要求更改映射。

• 由于源列和目标列不匹配，因此必须对此映射进行更改。从您提供的零件文件示例中，适当的映射如下所示:

• 现在运行管道。管道将成功运行，sql 表将反射(reflect)插入的行。