azure - ADFv2 列映射问题(重新发布)

Question

我有一个包含 21 列的源 .csv 和一个包含 25 列的目标表。

并非源中的所有列都在目标表中具有归属位置，并且目标表中并非所有列都来自源。

我无法让 CopyData 任务让我选择我想要的映射方式。到目前为止，我可以让它工作的唯一方法是将源数据加载到具有 1:1 映射的“保存”表，然后执行存储过程以将该表中的数据插入到最终目标中。

我尝试更改源和目​​标上的架构以匹配，但仍然出错，因为实际源比目标具有更多列，反之亦然。

这可能不是完成此任务的最有效方法，但我不知道如何使其发挥作用。

是的，我已经尝试过用户界面，是的，我已经尝试过列模式，不，我无法修改源文件，也不应该这样做。

返回的错误代码有一些变化:

"errorCode": "2200",
    "message": "ErrorCode=UserErrorInvalidColumnMappingColumnCountMismatch,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Invalid column mapping provided to copy activity: '{LONG LIST OF COLUMN MAPPING HERE}', Detailed message: Different column count between target structure and column mapping. Target column count:25, Column mapping count:16. Check column mapping in table definition.,Source=Microsoft.DataTransfer.Common,'",
    "failureType": "UserError",
    "target": "LoadPrimaryOwner"

Answer 1

Tim F. 请查看 Schema mapping in copy activity 中的声明:

Column mapping supports mapping all or subset of columns in the source dataset "structure" to all columns in the sink dataset "structure".

The following are error conditions that result in an exception:

1.Source data store query result does not have a column name that is specified in the input dataset "structure" section.

2.Sink data store (if with pre-defined schema) does not have a column name that is specified in the output dataset "structure" section.

3.Either fewer columns or more columns in the "structure" of sink dataset than specified in the mapping.

4.Duplicate mapping.

因此，您可以知道接收器数据集中的所有列都需要映射。由于您无法更改目的地，也许您不必在不受支持的功能中苦苦挣扎。

当然，您可以使用描述中提到的存储过程。这是一个完美的解决方法，而且不是很麻烦。具体使用细节可以引用我之前的案例:

1. Azure Data Factory activity copy: Evaluate column in sink table with @pipeline().TriggerTime

2. Azure Data factory copy activity failed mapping strings (from csv) to Azure SQL table sink uniqueidentifier field

此外，如果您确实不想避免上述解决方案，您可以提交feedback向 ADF 团队询问您想要的功能。