gpt4 book ai didi

elasticsearch - 'output.elasticsearch.bulk_max_size':必须为介于[100,5000]之间的数字

转载 作者:行者123 更新时间:2023-12-03 01:15:08 25 4
gpt4 key购买 nike

我在apm-server.yml中更改APM配置时遇到以下错误-

'output.elasticsearch.bulk_max_size': has to be a number between [100,5000] inclusive


我正在更改配置以增加APM队列的大小,以便它可以处理超过30K事件。
以下是我所做的配置更改-
output.elasticsearch:
worker: 4
bulk_max_size: 10000
queue.mem.events: 40000
我无法理解此错误的原因。
引用- https://www.elastic.co/guide/en/apm/server/master/tune-apm-server.html#adjust-queue-size
注意-该问题已由Opster Elasticsearch Ninja给出的答案部分解决。
但是-该问题尚未完全解决。但是在他建议增加节点并仅将bulk_max_size保留为5000之后,我得到的错误少得多(上周两次)。但我仍在寻找有关此问题的一些定量答案。诸如X节点,W worker,B bulk_max_size和S queue.mem.events之类的东西将为我们提供每分钟或一次最多N个事件的容量。例如,最后一个错误是当1分钟内的事件达到90-100K左右时,因此我仍在研究。

最佳答案

错误消息非常清楚,您在为10K赋值时不能超过5k,可以尝试限制范围并看到它起作用吗?
请引用bulk_max_size官方文档,其中还提到

setting bulk_max_size to values less than or equal to 0 disables thesplitting of batches. When splitting is disabled, the queue decides onthe number of events to be contained in a batch.


将其设置为非常大的值的缺点

Specifying a larger batch size can improve performance by lowering theoverhead of sending events. However big batch sizes can also increaseprocessing times, which might result in API errors, killedconnections, timed-out publishing requests, and, ultimately, lowerthroughput.

关于elasticsearch - 'output.elasticsearch.bulk_max_size':必须为介于[100,5000]之间的数字,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62908812/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com