elasticsearch - C#NEST批量API失败，出现System.IO.IOException

Question

This question already has an answer here:

Elasticsearch bulk insert with NEST returns es_rejected_execution_exception

(1个答案)


3年前关闭。




我试图将数据从SQL批量插入到ElasticSearch索引中。以下是我使用的代码，记录总数约为150万。我认为这与连接设置有关，但我无法弄清楚。有人可以帮忙提供此代码或提出更好的方法吗？

public void InsertReceipts
{
IEnumerable<Receipts> receipts = GetFromDB() // get receipts from SQL DB

const string index = "receipts";
var config = ConfigurationManager.AppSettings["ElasticSearchUri"];
var node = new Uri(config);

var settings = new ConnectionSettings(node).RequestTimeout(TimeSpan.FromMinutes(30));
var client = new ElasticClient(settings);

var bulkIndexer = new BulkDescriptor();

foreach (var receiptBatch in receipts.Batch(20000)) //using MoreLinq for Batch
{
    Parallel.ForEach(receiptBatch, (receipt) =>
    {
        bulkIndexer.Index<OfficeReceipt>(i => i
            .Document(receipt)
            .Id(receipt.TransactionGuid)
            .Index(index));
    });
    var response = client.Bulk(bulkIndexer);

    if (!response.IsValid)
    {
        _logger.LogError(response.ServerError.ToString());

    }

    bulkIndexer = new BulkDescriptor();
}

}

代码工作正常，但大约需要10分钟才能完成。当我尝试增加批量大小时，它失败并显示以下错误:

Invalid NEST response built from a unsuccessful low level call on POST: /_bulk

Invalid Bulk items: OriginalException: System.Net.WebException: The underlying connection was closed: An unexpected error occurred on a send. ---> System.IO.IOException: Unable to write data to the transport connection: An existing connection was forcibly closed by the remote host. ---> System.Net.Sockets.SocketException: An existing connection was forcibly closed by the remote host

最佳答案

一个好的起点是批处理1,000到5,000个文档，或者如果文档很大，则批处理甚至更小。

留意批量请求的实际大小通常很有用。一千个1KB文件与一千个1MB文件有很大的不同。可以开始播放的大容量文件大小约为5-15MB。

关于elasticsearch - C#NEST批量API失败，出现System.IO.IOException ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/44689901/

上一篇：iphone - 如何打断iPhone(SDK或MonoTouch)上正在播放的声音？

下一篇：powershell - TFS构建 “PowerShell on Target Machines”步骤失败:如何调试？

Answer 1

一个好的起点是批处理1,000到5,000个文档，或者如果文档很大，则批处理甚至更小。

留意批量请求的实际大小通常很有用。一千个1KB文件与一千个1MB文件有很大的不同。可以开始播放的大容量文件大小约为5-15MB。