rest - 错误 - Azure 数据工厂从 SQL 数据库传输到 Azure 搜索

Question

我已经设置了一个 Azure 数据工厂管道，用于将数据从 SQL Server 数据库中的一个表传输到新的 Azure 搜索服务。传输作业连续失败，并出现以下错误:

Copy activity encountered a user error at Sink side: GatewayNodeName=SQLMAIN01,ErrorCode=UserErrorAzuerSearchOperation,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Error happened when writing data to Azure Search Index '001'.,Source=Microsoft.DataTransfer.ClientLibrary.AzureSearch,''Type=Microsoft.Rest.Azure.CloudException,Message=Operation returned an invalid status code 'RequestEntityTooLarge',Source=Microsoft.Azure.Search,'.

根据我到目前为止所读到的内容，请求实体太大错误是在 REST API 中发现的标准 HTTP 错误 413。但在我所做的所有研究中，没有任何东西可以帮助我理解如何真正诊断和解决这个错误。

有人用 Azure 的特定上下文处理过这个问题吗？我想了解如何将所有数据库数据放入我们的 Azure 搜索服务中。如果可以在 Azure 方面进行调整以增加允许的请求大小，那么我在互联网或 Azure 文档中看到的任何地方肯定都不容易找到这样做的过程。

Answer 1

此错误表示 Azure 搜索接收器写入 Azure 搜索的批量大小太大。默认批量大小为 1000 个文档(行)。您可以使用 Azure 搜索接收器的 writeBatchSize 属性将其减小到平衡大小和性能的值。请参阅Copy Activity Properties在 Push data to an Azure Search index by using Azure Data Factory文章。

例如，可以在接收器上配置writeBatchSize，如下所示:


“接收器”:{“类型”:“AzureSearchIndexSink”，“writeBatchSize”:200}