个人中心
gpt4 book ai didi

MongoDB查询性能优化验证及验证

转载 作者：qq735679552 更新时间：2022-09-29 22:32:09 25 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章MongoDB查询性能优化验证及验证由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

结论:

1、 200w数据，合理使用索引的情况下，单个stationId下4w数据。mongodb查询和排序的性能理想，无正则时client可以在600ms+完成查询，qps300+。有正则时client可以在1300ms+完成查询，qps140+.

2、 Mongodb的count性能比较差，非并发情况下client可以在330ms完成查询，在并发情况下则需要1-3s。可以考虑估算总数的方法，http://blog.sina.com.cn/s/blog_56545fd30101442b.html 。

测试环境：mongodb使用 replica set，1主2从，96G内存，版本2.6.5 。

Mem消耗（4个200w数据的collection）:

  。

空间消耗（测试数据最终选定的collection）:

  。

Jvm: -Xms2G -Xmx2G 。

Ping延迟33ms 。

查询都使用ReadPreference.secondaryPreferred() 。

无正则 。

1、 创建stationId, firmId复合引查询场景（200w集合，12个字段） 。

查询次数：20000 。

查询条件：多条件查询10条记录，并逐条获取记录 。

?
1
2
3
4
5
6
String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile( key );
BasicDBObject queryObject = new BasicDBObject( "stationId" ,
new BasicDBObject( "$in" , new Integer []{20}))
.append( "firmId" , new BasicDBObject( "$gt" , 5000))
.append( "dealCount" , new BasicDBObject( "$gt" , r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject).limit(10).skip(2);

并发：200 。

耗时：61566 。

单次耗时（server）：124ms 。

Qps:324.85 。

2、 创建stationId, firmId复合引查询场景（200w集合，12个字段） 。

查询次数：20000 。

查询条件：多条件查询10条记录排序，并逐条获取记录 。

?
1
2
3
4
5
6
7
String key = "清泉" + r.nextInt(100);
Pattern pattern = Pattern.compile( key );
BasicDBObject queryObject = new BasicDBObject( "stationId" ,
new BasicDBObject( "$in" , new Integer []{4, 20}))
.append( "firmId" , new BasicDBObject( "$gt" , 5000))
.append( "dealCount" , new BasicDBObject( "$gt" , r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject)
.sort(new BasicDBObject( "firmId" , 1)).limit(10).skip(2);

并发：200 。

耗时：63187 。

单次耗时（server）：119ms 。

Qps:316.52 。

3、 创建stationId, firmId复合引查询场景（200w集合，12个字段） 。

查询次数：2000 。

查询条件：多条件查询记录数 。

?
1
2
3
4
5
6
7
String key = "清泉" + r.nextInt(100);
Pattern pattern = Pattern.compile( key );
BasicDBObject queryObject = new BasicDBObject( "stationId" ,
new BasicDBObject( "$in" , new Integer []{4, 20}))
.append( "firmId" , new BasicDBObject( "$gt" , 5000))
.append( "dealCount" , new BasicDBObject( "$gt" , r.nextInt(1000000)));
long count = collection. count (queryObject);

并发：200 。

耗时：21887 。

单次耗时（client）：280ms 。

Qps:91.38 。

有正则 。

4、 创建stationId, firmId复合引查询场景（200w集合，12个字段） 。

查询次数：20000 。

查询条件：多条件查询10条记录，并逐条获取记录 。

?
1
2
3
4
5
6
7
8
String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile( key );
BasicDBObject queryObject = new BasicDBObject( "stationId" ,
new BasicDBObject( "$in" , new Integer []{20}))
.append( "firmId" , new BasicDBObject( "$gt" , 5000))
.append ( "dealCount" , new BasicDBObject( "$gt" , r.nextInt(1000000)))
.append( "firmName" , pattern);
DBCursor cursor = collection.find(queryObject).limit(10).skip(2);

并发：200 。

耗时：137673 。

单次耗时（server）：225ms 。

Qps:145.27 。

5、 创建stationId, firmId复合引查询场景（200w集合，12个字段） 。

查询次数：20000 。

查询条件：多条件查询10条记录排序，并逐条获取记录 。

?
1
2
3
4
5
6
7
8
9
String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile( key );
BasicDBObject queryObject = new BasicDBObject( "stationId" ,
new BasicDBObject( "$in" , new Integer []{4, 20}))
.append( "firmId" , new BasicDBObject( "$gt" , 5000))
.append ( "dealCount" , new BasicDBObject( "$gt" , r.nextInt(1000000)))
.append( "firmName" , pattern);
DBCursor cursor = collection.find(queryObject)
.sort(new BasicDBObject( "firmId" , 1)).limit(10).skip(2);

并发：200 。

耗时：138673 。

单次耗时（server）：230ms 。

Qps:144.22 。

6、 创建stationId, firmId复合引查询场景（200w集合，12个字段） 。

查询次数：2000 。

查询条件：多条件查询记录数 。

?
1
2
3
4
5
6
7
8
String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile( key );
BasicDBObject queryObject = new BasicDBObject( "stationId" ,
new BasicDBObject( "$in" , new Integer []{4, 20}))
.append( "firmId" , new BasicDBObject( "$gt" , 5000))
.append ( "dealCount" , new BasicDBObject( "$gt" , r.nextInt(1000000)))
.append( "firmName" , pattern);
long count = collection. count (queryObject);

并发：200 。

耗时：23155 。

单次耗时（client）：330ms 。

Qps:86.37 。

MongoDB索引特点 。

1、 复合索引必须命中首字段，否则无法生效。后面的字段可以不按顺序命中.

2、 复合索引字段越多占用空间越大，但对查询性能影响不大（数组索引除外）.

3、 会根据sort字段选择索引，优先级超过复合索引中的非首字段.

  。

4、 命中复合索引的情况下，数据量<10w的情况下，过滤非索引字段，效率也比较高.

  。

5、 全文检索性能比较差，200w数据命中50w的情况下，全文检索需要10+s，正则需要1s.

MongoDB客户端配置，可以提出来做成spring注入，设置最大连接数什么的.

?
1
2
3
4
5
6
7
MongoClientOptions options =
MongoClientOptions.builder().maxWaitTime(1000 * 60 * 2)
.connectionsPerHost(500).build();
mongoClient = new MongoClient(Arrays.asList(new ServerAddress( "10.205.68.57" , 8700),
new ServerAddress( "10.205.68.15" , 8700),
new ServerAddress( "10.205.69.13" , 8700)), options);
mongoClient.setReadPreference(ReadPreference.secondaryPreferred());

mongoDB调研_结论.docx为最终场景下的测试数据，分为有正则和无正则.

mongoDB调研_remote.docx为测试验证过程中的数据，有可能存在缓存等情况，不一定准确，功参考.

关于MongoDB 查询优化原则的大家了解吗？下文给大家介绍下，具体内容如下所示:

1.在查询条件、排序条件、统计条件的字段上选择创建索引，可以显著提高查询效率.

2.用$or时把匹配最多结果的条件放在最前面，用$and时把匹配最 少 结果的条件放在最前面.

3.使用limit()限定返回结果集的大小，减少数据库服务器的资源消耗，以及网络传输的数据量.

4.尽量少用$in，而是分解成一个一个的单一查询。尤其是在分片上，$in会让你的查询去每一个分片上查一次，如果实在要用的话，先在每个分片上建索引.

5.尽量不用模糊匹配查询，用其它精确匹配查询代替，比如$in、$nin.

6.查询量大、并发大的情况，通过前端加缓存解决.

7.能不用安全模式的操作就不用安全模式，这样客户端没必要等待数据库返回查询结果以及处理异常，快了一个数量级.

8.MongoDB的智能查询优化，判断粒度为query条件，而skip和limit都不在其判断之中，当分页查询最后几页时，先用order反向排序.

9.尽量减少跨分片查询，balance均衡次数少.

10.只查询要使用的字段，而不查询所有字段.

11.更新字段的值时，使用$inc比update效率高.

12.apped collections比普通collections的读写效率高.

13.server-side processing类似于SQL查询的存储过程，可以减少网络通讯的开销.

14.必要时使用hint()强制使用某个索引查询.

15.如果有自己的主键列，则使用自己的主键列作为id，这样可以节约空间，也不需要创建额外的所以.

16.使用explain，根据exlpain plan进行优化.

17.范围查询的时候尽量用$in、$nin代替.

18.查看数据库查询日志，具体分析的效率低的操作.

19.mongodb有一个数据库优化工具database profiler，能够检测数据库操作的性能。可以发现query或者write操作中执行效率低的，从而针对这些操作进行优化.

20.尽量把更多的操作放在客户端，当然这就是mongodb设计的理念之一.

最后此篇关于MongoDB查询性能优化验证及验证的文章就讲到这里了,如果你想了解更多关于MongoDB查询性能优化验证及验证的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

25 4 0
文章推荐： MongoDB性能篇之创建索引，组合索引，唯一索引，删除索引和explain执行计划
文章推荐： Mongodb索引的优化
文章推荐： MongoDB性能优化及监控
文章推荐： 使用zabbix监控mongodb的方法
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com