gpt4 book ai didi

Solr 不一致的结果计数

转载 作者:行者123 更新时间:2023-12-04 02:27:31 24 4
gpt4 key购买 nike

我有四个节点 solrcloud 设置版本 4.10,我的收藏有 4 个分片,2 个副本。我的应用程序提供了实时数据摄取的搜索能力,数据摄取和搜索过程并行运行。

每天的数据负载约为 2~3MM 记录(插入/更新操作),总文档数为 80MM+。

我们面临的问题是 solr 在数据摄取的高峰时间返回非常不一致的记录计数。

示例查询:

for i in `seq 1 50`;
do
curl 'http://localhost:8888/solr/OPTUM/select?q=*:*&wt=json&indent=true'|grep numFound|rev|cut -d'{' -f1 |rev
done

回复 numfound变量有时显示的文档数量非常少,然后实际出现在 solr 中。

请建议我是否需要进行任何配置更改以获得一致的计数。

最佳答案

似乎问题与您查询分布式设置的方式有关-您说“我的集合在 4 个节点上有 4 个分片,2 个副本”...您不一致的结果可能是由于您被重定向到基于负载的分片-平衡算法——所以每次使用不同的分片并返回给你不同的(子集)结果集。

阅读 Distributed Requests documentation here .

尝试添加如下内容:
http://localhost:8983/solr/gettingstarted/select?q=*:*&shards=nodehost1:7574/solr,nodehost2:8983/solr,nodehost3:8983/solr,nodehost4:8983/solr

关于Solr 不一致的结果计数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33028603/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com