elasticsearch - 使用logstash将数据集导入到ElasticSearch的速度很慢

Question

我需要导入文本文件(无结构，仅逐行数据)，但在我看来它可以做得更好。我已经对logstash配置进行了一些更改，并使用-b和-w选项获得了大约200％的 yield (我发现了最佳的发现)。但是对于我的需求来说仍然太慢了。

HW: i5 7600k @ 4.5GHz, 32GB DDR4 ram, SSD intel 512GB File: 26GB, ~800 000 000 lines Current speed with -b 1000 and -w 16 options: 2 500 000 per min, ~41 000

每秒

我正在寻找的速度是每秒约500 000。

Logstash配置文件:

input {
    file {
        path => "/home/w-nsa/dataset.txt"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }

}

output {
    elasticsearch {
        hosts => "http://8.8.3.2:9200"
        index => "test"
    }
}

Answer 1

您的瓶颈可能是Elasticsearch方面的索引速度。

您的服务器如何配置？ Logstash和Elasticsearch在同一台计算机上吗？每个Java Heap是什么？

来自Elastic的guide具有一些提高索引速度的技巧。

您应该尝试为数据建立索引并使用iostat和iotop之类的工具监视elasticsearch计算机上的IO，以查看计算机在重负载下的行为。