azure - 如何删除源数据集 (JSON) 中的重复项并将数据加载到 azure 数据工厂中的 azure SQL DB

Question

我在 SQL DB 中有一个带有主键字段的表。现在我正在 azure 数据工厂中使用带有源数据集(JSON)的复制事件。

我们正在将此数据写入接收器数据集(SQL DB)，但管道失败并出现以下错误

"message": "'Type=System.Data.SqlClient.SqlException,Message=Violation of 
 PRIMARY KEY constraint 'PK__field__399771B9251AD6D4'. Cannot 
 insert duplicate key in object 'dbo.crop_original_new'. The 
 duplicate key value is (9161, en).\r\nThe statement has been 
 terminated.,Source=.Net SqlClient Data Provider,SqlErrorNumber=2627,Class=14,ErrorCode=-2146232060,State=1,Errors= 
[{Class=14,Number=2627,State=1,Message=Violation of PRIMARY KEY 
constraint 'PK__field__399771B9251AD6D4'. Cannot insert 
duplicate key in object 'Table'. The duplicate key value is 
(9161, en).,},{Class=0,Number=3621,State=0,Message=The statement has 
been terminated.,},],'",

Answer 1

您可以使用复制事件中提供的容错设置来跳过不兼容的行。

Setting image