azure - 数据工厂中的用户配置问题(更新插入超时)

Question

因此，我有一个数据工厂，它会进行查找以从几个模式中收集表以及所述表的关键列，以便我可以在将数据复制到另一个数据库时使用 Upsert。

我注意到很多表都向我抛出了这个错误:

ErrorCode=SqlOperationFailed,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=A database operation failed. Please search error to get more details.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Data.SqlClient.SqlException,Message=Execution Timeout Expired. The timeout period elapsed prior to completion of the operation or the server is not responding.Operation cancelled by user.The statement has been terminated.,Source=.Net SqlClient Data Provider,SqlErrorNumber=-2,Class=11,ErrorCode=-2146232060,State=0,Errors=[{Class=11,Number=-2,State=0,Message=Execution Timeout Expired. The timeout period elapsed prior to completion of the operation or the server is not responding.,},{Class=11,Number=0,State=0,Message=Operation cancelled by user.,},{Class=0,Number=3621,State=0,Message=The statement has been terminated.,},],''Type=System.ComponentModel.Win32Exception,Message=The wait operation timed out,Source=,'

查看发生此错误的表，该过程花费了 2 个多小时。这是否只是尝试对大表(具有数十万/数百万条记录)使用 Upsert 时出现的问题？当我最近运行这个时，大部分数据已经在我的接收数据库中，这意味着只需要向表中添加一些记录(不是字面上的几条记录，而是在表的总体方案中，不是很多) 。这让我相信数据工厂为确定是否需要在表中添加或更新记录而进行的比较是最终导致超时的原因。

这是这里发生的事情吗？我可以做些什么来不导致超时发生和/或以任何方式加速管道？

Answer 1

错误原因可能是查询执行时间过长。可能是数据量大的原因。

要解决此问题，您可以尝试多种选择:

• 增加 SQL 链接服务的连接超时，如下所示。
• 尝试使用这些值，以便它以批量的形式传输数据并增加批量超时，这样查询就不会超时。