gpt4 book ai didi

elasticsearch - Elasticsearch并行索引多个文件

转载 作者:行者123 更新时间:2023-12-03 02:14:35 26 4
gpt4 key购买 nike

我正在尝试在ES中索引多个文件。由于文件很多,并且每个文件都有自己的索引,因此顺序索引在生产使用中似乎很慢。我想要的是并行索引多个文件。假设我有100个文件,并且想一次索引10个文件并以10个批次完成索引。我期望10个文件建立索引和单个文件建立索引所花费的时间是相同的,因为它们并行执行并且资源也足够。但是,在ES端,索引是顺序执行的,索引10个文件所需的时间几乎是单个文件所需时间的10倍。
尽管从此question发送了并行请求以进行索引,但ES索引似乎按顺序运行。是否可以并行索引数据以减少索引时间,或者我在这里丢失了一些东西?谢谢您的帮助
注意:我正在单节点设置中对此进行测试。这可以成为一个问题吗?

最佳答案

由于您尚未提供代码和性能测试编号,因此很难猜测出哪里出了错,我猜当您说并行请求时,您正在同时发送10个不同的索引请求,这是不正确的这样,您应该改用Bulk API,这是设置的正确选择。
如果您已经在使用Bulk API,请提供进一步调试问题所需的所有相关信息。

关于elasticsearch - Elasticsearch并行索引多个文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63806978/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com