- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
主要是讲下Mongodb的索引的查看、创建、删除、类型说明,还有就是Explain执行计划的解释说明。 。
。
可以转载,但请注明出处。 。
之前自己写的SpringBoot整合MongoDB的聚合查询操作,感兴趣的可以点击查阅.
https://www.cnblogs.com/zaoyu/p/springboot-mongodb.html 。
数组相关的操作 。
https://www.cnblogs.com/zaoyu/p/mongodb_array_operator.html 。
。
说明,下面的内容举例时,以"dailyTrip"collection为例。 字段内容如下:
{ "_id" : ObjectId("63ec5a971ddbe429cbeeffe3"), // object id "car_type" : "Gett", // string "date" : ISODate("2016-04-01T00:00:00.000+0000"), // ISODate "trips" : 0.0, // number "monthly" : "NA", // string "parent_type" : "Ride-hailing apps", // string "monthly_is_estimated" : true , // boolean "geo" : { // object "$concat" : [ // array "$parent_type" , "$grouping" ] } }
执行看看有5.17万条数据 。
单列索引: 在一个字段上创建的索引.
复合索引:由多个字段组合一起创建的索引。使用的时候要注意最左前缀原则,避免索引无法命中(失效).
文本索引(全文索引)和空间索引(GEO索引),不常用,这里不讲,具体自行网上查询.
。
语法:
db.Collection.getIndexs();
返回内容说明:
[ // 返回一个数组,内容是所有索引 { "v" : 2.0, // 索引版本,可忽略 "key" : { // 索引加在哪个字段,以及排序 "_id" : 1.0 // _id 是字段, 1.0是正序(升序), -1.0是倒序(倒序) }, "name" : "_id_" // 索引名,如果添加的时候没有指定,Mongo会自动生成。 } ]
举例:
可以看到返回一个name为 _id_的索引。 作用于 _id上, 升序排列.
语法:
db.collection.createIndex(keys, options) // 组合索引 db.collection.createIndex( { <field1>: <type>, <field2>: <type2>, ... } ) // 其中 <fieldN>是字段名 <typeN>是排序 注意: 3.0.0 版本之前创建索引方法为 db.collection.ensureIndex()。 5.0之后ensureIndex() 已被移除。
举例:
// 创建单字段索引 db.dailyTrip.createIndex({"car_type":1 }); // 返回结果 { "numIndexesBefore" : 1.0, // 新建索引前的索引数 "numIndexesAfter" : 2.0, // 新建索引后的索引数 "createdCollectionAutomatically" : false , // 一般情况下,如果该集合存在,这里就是返回false。如果指定的集合不存在,MongoDB 默认情况下会自动创建该集合,并在该集合上创建索引,此时返回true。 "ok" : 1.0 // 创建结果 1.0则是成功。返回0则说明报错了。 } // 如果创建的字段的索引已经存在,则返回如下 { "numIndexesBefore" : 2.0 , "numIndexesAfter" : 2.0 , "note" : "all indexes already exist", // 提示已经存在 "ok" : 1.0 } // 创建复合索引 db.dailyTrip.createIndex({"parent_type":1, "car_type":1 }) // 也可以指定自定义索引名 db.dailyTrip.createIndex({"parent_type":1, "car_type":1}, { name: "inx_parantType_carType" }) // 这里自己试验 // 来自官方文档 https://www.mongodb.com/docs/manual/reference/command/createIndexes/
。
创建完毕后,再次查看当前索引情况 。
。
语法:
删除指定集合中所有索引:
db.collection.dropIndexes();
删除指定集合中的具体索引:
db.collection.dropIndex(
"索引名称");
举例
// 删除指定索引 db.dailyTrip.dropIndex("car_type_1" ); // 返回结果 { "nIndexesWas" : 3.0, // 指示在删除索引之前集合中存在的索引数量。 "ok" : 1.0 } // 删除所有,自行尝试。 注意, 主键_id的索引是不会也不能被删除的。 db.collection.dropIndexes();
。
无法直接修改,如果需要调整索引字段、名称、组合索引的顺序,需要先删除原来索引,再新建索引.
选择经常被查询的字段来创建索引。那些在查询条件、排序和聚合操作中频繁出现的字段是最佳选择.
选择合适的、常用作查询条件的字段,综合判断是否可以使用复合索引,如果可以优先复合索引。 比如多数情况是按照字段A、B、C或者A、B条件去查询,那么可以优先考虑基于字段A、B、C创建复合索引。 使用复合索引来覆盖多个查询条件,以减少索引的数量.
尽量使用索引覆盖,和MySQL中的索引覆盖是类似的。 覆盖索引是指索引包含了查询所需的字段,从而避免了查询需要访问实际文档。这可以提高查询性能,减少IO操作。 其实这里和上面的复合索引是相关的.
其他的还有包括使用Explain去查看执行计划、定期监控性能、删除冗余无用的索引之类的,不一而足。 上面是基于实际开发经验得出的常用手段原则.
。
查询条件不满足索引前缀: 例如,复合索引是 { a: 1, b: 1 } ,而查询条件只包含 { b: 1 } ,则该复合索引将无法被使用.
数据类型不匹配: 如果查询条件中的数据类型与索引字段的数据类型不匹配,索引可能无法被使用。例如,如果索引字段是数字类型,而查询条件中使用了字符串类型的值,索引将无法被使用.
// 类似Mysql中的隐式转换会使索引失效.
索引选择性低: 索引的选择性是指索引中不同值的唯一性程度。如果索引的选择性很低,即索引中的值几乎都相同,那么使用该索引可能不会带来明显的性能提升.
// 这里其实是说索引列的值的区分度,如果重复度过高,那么使用索引的性能可能不如不用,索引底层优化器可能不选择使用索引。假如字段gender只有2个值,male和female,其中一半数据是male,另一半是female,此时用gender索引,还不如不用.
使用不支持的操作符: 某些查询操作符可能无法使用索引。例如,正则表达式查询、模糊查询(如 $text 操作符)等可能无法充分利用索引.
数据量较小: 当集合中的数据量较小时,MongoDB 可能会选择全表扫描而不使用索引,因为全表扫描可能更快.
// 类似mysql中,一般建议小于1000条就不加索引,因为索引有额外开销.
索引过期或损坏: 如果索引过期或损坏,MongoDB 将无法使用该索引.
索引被禁用: 如果在查询时禁用了索引,或者索引的存储引擎不支持该查询,索引将无法被使用.
索引尺寸过大: 如果索引的尺寸超过了 MongoDB 的限制,该索引可能无法被使用.
使用 explain() 方法可以查看查询计划和索引使用情况,帮助识别索引失效的原因,并进行相应的优化.
接下来对Explain方法做说明解释.
。
。
explain() 是一个用于查询解释和性能分析的方法(函数).
可以在 find() 、 aggregate() 和 count() 等查询操作的结果上调用 explain() 方法.
其作用:
有助于了解查询的执行计划、索引使用情况以及查询性能的相关指标.
调用该方法后。MongoDB 会返回一条包含查询执行计划的文档(结果)(具体说明如下),其中包含了查询优化器的决策、索引使用情况、扫描文档数量等信息。通过分析 explain() 返回的执行计划,可以确定是否使用了适当的索引,是否存在潜在的性能问题,并根据需要进行索引优化、查询重写等操作,以提高查询性能.
执行计划的返回结果:
queryPlanner :查询优化器的决策和统计信息.
winningPlan :优化器选择的最佳执行计划.
executionStats :执行计划的统计信息,如扫描的文档数量、查询时间等.
serverInfo :MongoDB 服务器的信息.
注意:explain()` 的输出非常详细,包含了大量的信息。因此,它在调试和优化查询时非常有用,但在生产环境中不应该频繁地使用,以避免对性能产生负面影响.
官方文档:
explain的详细说明 https://www.mongodb.com/docs/v5.0/reference/command/explain/ 。
explain的返回结果的详细说明 https://www.mongodb.com/docs/v5.0/reference/explain-results/ 。
语法 // 普通的语句,直接在语句后面加上explain,也可以挪到find的前面。 db.collection.find({}).explain(<optional verbosity mode> ); // 对聚合pipeline的执行计划分析,explain放前面 db.collection.explain(<optional verbosity mode> ).aggregate([]); <optional verbosity mode> 是可选的输出模式。 如果什么都不写,比如 db.collection.find({ "name"”":"onepiece"}).explain(); 那么mongo会走默认模式 "queryPlanner" 。 如果要指定模式,则直接加上,比如 db.collection.find({ "name"”":"onepiece"}).explain("executionStats")
explain有三种模式:
queryPlanner (默认) : 只列出所有可能执行的方案,不会执行实际的语句,显示已经胜出的方案winningPlan(最佳查询计划).
executionStats : 只执行winningPlan方案,并输出结果.
allPlansExecution :执行所有的方案,并输出结果.
关于explain的参数可以参考官网: https://www.mongodb.com/docs/v5.0/reference/method/cursor.explain/#std-label-explain-cursor-method-verbosity 。
。
运行查询优化器对当前的查询进行评估并选择一个最佳的查询计划,不执行实际语句.
。
下面三种模式均以这个查询语句为例:
db.getCollection("dailyTrip").explain().find({"parent_type":"Ride-hailing apps"}, { _id:0});
下面是一个执行的返回结果,我把详细内容先收起,可以看到返回的字段有哪些.
。
具体解释 。
{ "explainVersion" : "1", // 执行计划的版本,可以忽略 "queryPlanner" : { // queryPlanner,就是执行计划。 这部分重点看 "namespace" : "test.dailyTrip", // 就是collection和所在db "indexFilterSet" : false , // 是否设置了索引过滤器集合,Filter决定了查询优化器对于某个查询将如何使用索引 "parsedQuery" : { // 经过解析后的query内容。 "parent_type" : { "$eq" : "Ride-hailing apps" } }, "queryHash" : "8B8C334A", // 查询的哈希值, "planCacheKey" : "F910A33F", // 查询执行计划的缓存键 "maxIndexedOrSolutionsReached" : false , // 是否已达到最大索引【或】解决方案的限制。 跳过 "maxIndexedAndSolutionsReached" : false , // 表示是否已达到最大索引【和】解决方案的限制。 跳过 "maxScansToExplodeReached" : false , // 是否已达到最大扫描数的限制。 跳过 "winningPlan" : { // 这个很关键,这里是最后底层选择的执行计划。 "stage" : "PROJECTION_DEFAULT", // stage 是指步骤 可以由stage名称看到具体做了什么。 projection是应用投影操作,选择所需的字段 "transformBy" : { // 具体投影内容 跳过 "_id" : 0.0 }, "inputStage" : { // 执行阶段的子阶段,这里是一个FETCH的子过程 "stage" : "FETCH", // FETCH是 从索引中获取文档数据。 "inputStage" : { // 其中一个阶段,具体操作。 这里面的东西是重点要看的。 "stage" : "IXSCAN", // 这里是说使用索引进行扫描,通常表示优化的查询。 "keyPattern" : { // 表示下面的索引字段的排列方式,1.0正序,-1.0倒序。 "parent_type" : 1.0 , "car_type" : 1.0 }, "indexName" : "parent_type_1_car_type_1", // 用到的索引名称 "isMultiKey" : false , // 是否为多键索引。 如果为 true,表示索引包含数组值 "multiKeyPaths" : { // 如果索引是多键索引,这个属性将会包含索引中包含数组值的字段路径。本例中的索引不是多键索引,因此下面的字段为空数组。 "parent_type" : [ ], "car_type" : [ ] }, "isUnique" : false , // 是否为唯一索引 "isSparse" : false , // 是否为稀疏索引 "isPartial" : false , // 是否为部分索引 "indexVersion" : 2.0, // 索引版本 "direction" : "forward", // 索引的遍历方向 "indexBounds" : { // 当前查询具体使用的索引 "parent_type" : [ "[\"Ride-hailing apps\", \"Ride-hailing apps\"]" ], "car_type" : [ "[MinKey, MaxKey]" ] } } } }, "rejectedPlans" : [ // 底层优化器拒绝的计划,没有执行的计划。 ] }, "command" : { // 语句具体涉及到的命令、collection、DB "find" : "dailyTrip", // 表名 从哪个collection中查找 "filter" : { // 哪个阶段,这里就是过滤 "parent_type" : "Ride-hailing apps" }, "projection" : { // 投影 控制要返回的字段 "_id" : 0.0 }, "$db" : "test" // 库 }, "serverInfo" : { // 服务器信息 "host" : "onepiece-pc", // mongo的示例主机名称 "port" : 27017.0, // 端口 "version" : "5.0.9", // mongodb的版本 "gitVersion" : "6f7dae919422dcd7*****************1ad00e6" // 这里是git版本,这里无关紧要,我脱敏了。 }, "serverParameters" : { // 服务器的参数,各种缓存大小、最大阈值设置,暂时和我们这里说的内容无关,跳过。 "internalQueryFacetBufferSizeBytes" : 104857600.0 , "internalQueryFacetMaxOutputDocSizeBytes" : 104857600.0 , "internalLookupStageIntermediateDocumentMaxSizeBytes" : 104857600.0 , "internalDocumentSourceGroupMaxMemoryBytes" : 104857600.0 , "internalQueryMaxBlockingSortMemoryUsageBytes" : 104857600.0 , "internalQueryProhibitBlockingMergeOnMongoS" : 0.0 , "internalQueryMaxAddToSetBytes" : 104857600.0 , "internalDocumentSourceSetWindowFieldsMaxMemoryBytes" : 104857600.0 }, "ok" : 1.0 }
db.getCollection("dailyTrip").find({"parent_type":"Ride-hailing apps"}, { _id:0}).explain("executionStats");
运行查询优化器对当前的查询进行评估并选择一个最佳的查询计划进行执行,在执行完毕后返回这个最佳执行计划执行完成时的相关统计信息.
。
{ "explainVersion" : "1" , "queryPlanner" : { // ... 同上,省略。 "parsedQuery" : { // ... 同上,省略。 }, // ... 同上,省略。 "winningPlan" : { // ... 同上,省略。 } "rejectedPlans" : [ // ... 同上,省略。 ] }, "executionStats" : { // 重点留意这里面的内容 "executionSuccess" : true , // 执行结果 "nReturned" : 23010.0, // 返回的文档数 "executionTimeMillis" : 70.0, // 执行耗时 ms "totalKeysExamined" : 23010.0, // 扫描了的索引总数 "totalDocsExamined" : 23010.0, // 总的扫描文档数 "executionStages" : { // 执行stage 里面会有具体每个stage的详细 "stage" : "PROJECTION_DEFAULT", // 阶段类型 "nReturned" : 23010.0 , "executionTimeMillisEstimate" : 10.0, // 预估执行时间 ms "works" : 23011.0, // 阶段中扫描任务数 "advanced" : 23010.0, // 阶段中向上提交数量 "needTime" : 0.0, // 阶段中定位索引位置所需次数 "needYield" : 0.0, // 阶段中获取锁等待时间 "saveState" : 23.0, // :表示在查询执行过程中,保存中间状态所花费的时间 ms "restoreState" : 23.0, // 表示在查询执行过程中,恢复之前保存的中间状态所花费的时间 ms "isEOF" : 1.0, // 阶段中是否到达流的结束位,对于limit限制符的查询可能为0 "transformBy" : { // 表示查询计划是否使用了投影操作来转换结果 "_id" : 0.0 }, "inputStage" : { // 执行阶段的子阶段,这里是一个fetch的子过程 "stage" : "FETCH", // 内容差不多 "nReturned" : 23010.0 , "executionTimeMillisEstimate" : 4.0 , "works" : 23011.0 , "advanced" : 23010.0 , "needTime" : 0.0 , "needYield" : 0.0 , "saveState" : 23.0 , "restoreState" : 23.0 , "isEOF" : 1.0 , "docsExamined" : 23010.0 , "alreadyHasObj" : 0.0 , "inputStage" : { // 子阶段,ixscan子过程 "stage" : "IXSCAN" , "nReturned" : 23010.0 , "executionTimeMillisEstimate" : 4.0 , "works" : 23011.0 , "advanced" : 23010.0 , "needTime" : 0.0 , "needYield" : 0.0 , "saveState" : 23.0 , "restoreState" : 23.0 , "isEOF" : 1.0 , "keyPattern" : { "parent_type" : 1.0 , "car_type" : 1.0 }, "indexName" : "parent_type_1_car_type_1" , "isMultiKey" : false , "multiKeyPaths" : { "parent_type" : [ ], "car_type" : [ ] }, "isUnique" : false , "isSparse" : false , "isPartial" : false , "indexVersion" : 2.0 , "direction" : "forward" , "indexBounds" : { "parent_type" : [ "[\"Ride-hailing apps\", \"Ride-hailing apps\"]" ], "car_type" : [ "[MinKey, MaxKey]" ] }, "keysExamined" : 23010.0 , "seeks" : 1.0 , "dupsTested" : 0.0 , "dupsDropped" : 0.0 } } } }, "command" : { // ... 同上,省略。 }, "serverInfo" : { // ... 同上,省略。 }, "serverParameters" : { // ... 同上,省略。 }, "ok" : 1.0 }
// 调用explain("allPlansExecution"), allPlansExecution 模式,执行所有的方案,并输出结果。 db.getCollection("dailyTrip").find({"parent_type":"Ride-hailing apps"}, { _id:0}).explain("allPlansExecution");
allPlansExecution相比executionStats,其他的备选执行计划也会去执行,并统计结果出来。 会存放在 executionStats中.
即按照最佳的执行计划执行以及列出统计信息, 如果有多个查询计划,还会列出这些非最佳执行计划部分的统计信息.
。
{ "explainVersion" : "1" , "queryPlanner" : { "namespace" : "test.dailyTrip" , "indexFilterSet" : false , "parsedQuery" : { "parent_type" : { "$eq" : "Ride-hailing apps" } }, "maxIndexedOrSolutionsReached" : false , "maxIndexedAndSolutionsReached" : false , "maxScansToExplodeReached" : false , "winningPlan" : { // ... 同上,省略。 }, "rejectedPlans" : [ // ... 同上,省略。 ] }, "executionStats" : { "executionSuccess" : true , "nReturned" : 23010.0 , "executionTimeMillis" : 68.0 , "totalKeysExamined" : 23010.0 , "totalDocsExamined" : 23010.0 , "executionStages" : { // 这里的executionStage和2.2的executionStats中的executionstages一样,参考那里。 }, "allPlansExecution" : [ // 重点:allPlansExecution 如果有其他执行计划,那么会在这里把执行统计结果放出来。 ] }, "command" : { // ... 同上,省略。 }, "serverInfo" : { // ... 同上,省略。 }, "serverParameters" : { // ... 同上,省略。 }, "ok" : 1.0 }
COLLSCAN:全表扫描 。
IXSCAN:索引扫描 。
FETCH:根据索引去检索指定document 。
SHARD_MERGE:将各个分片返回数据进行merge 。
SORT:表明在内存中进行了排序 。
LIMIT:使用limit限制返回数 。
SKIP:使用skip进行跳过 。
IDHACK:针对_id进行查询 。
SHARDING_FILTER:通过mongos对分片数据进行查询 ---服务器是分片的才有.
COUNT:利用db.coll.explain().count()之类进行count运算 。
COUNTSCAN: count不使用Index进行count时的stage返回 。
COUNT_SCAN: count使用了Index进行count时的stage返回 。
SUBPLA:未使用到索引的$or查询的stage返回 。
TEXT:使用全文索引进行查询时候的stage返回 。
PROJECTION:限定返回字段时候stage的返回 。
https://www.cnblogs.com/littleatp/p/8419678.html 。
。
尽量使用索引。 举例,比如通过上面的执行计划发现某个作为查询条件的字段,没有用上索引,且通过索引可以极大提高性能,那么可以考虑对该字段增加索引.
扫描文档数越小越好。举例,比如上面的执行计划中,某个阶段返回的扫描文档数量极大,那么可以考虑优化语句,比如调整语句顺序,先过滤再处理;或者对查询条件字段增加索引.
。
完.
感谢查阅,希望对你有帮助,点个赞再走呗~ 。
最后此篇关于MongoDB索引操作和执行计划Explain()详解的文章就讲到这里了,如果你想了解更多关于MongoDB索引操作和执行计划Explain()详解的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我已经在 kubernetes 中部署了一个 3 pod mongodb statefulset,并且我正在尝试使用新的 mongodb+srv 连接字符串 (mongodb 3.6) 连接到具有 S
我已经创建了 MongoDB Atlas 帐户,并尝试连接。但出现以下错误。 MongoDB 连接错误 MongoNetworkError: 首次连接时无法连接到服务器 [cluster0-shard
我正在使用 Node-WebKit 创建桌面应用程序。该应用程序基本上是创建文档(员工日常工作的详细信息),任何注册用户都可以对这些文档发表评论。我正在创建的文档将被分成几个部分。用户将对特定部分发表
我正在尝试使用官方网站上的安装程序在我的本地机器上安装 mongo DB。但是我不断收到这条消息,有人可以帮忙吗? 我试过提供的解决方案 here但没有帮助。 最佳答案 我建议执行以下操作: 按 Wi
我对 MongoDB 和 MongoDB Compass 非常陌生。 我的客户集合中有大约 1000 条记录。如何通过 MongoDB 指南针一次删除所有记录。 非常感谢, 最佳答案 您可以使用 Mo
当我尝试在我的 Ubuntu 机器中安装 mongodb 时,apt-get 会显示以下选项 mongodb mongodb-clients mongodb-dev mongodb-server 谁能
如何将 Robomongo(或任何其他 mongodb 客户端)连接到由本地 Meteor 应用程序创建的 mongodb 实例? 最佳答案 确保 Meteor 正在本地主机上运行。打开终端窗口并运行
我需要在 MongoDB 中生成一个简单的频率表。假设我在名为 books 的集合中有以下文档。 { "_id": 1, genre: [ "Fantasy", "Crime"
我如何在 mongos mapreduce 中指定一个条件,就像我们在 mongos group 函数中所做的那样。 我的数据是这样的 {lid:1000, age:23}, {lid:3000, a
我的 mongodb 数据库文档中有几个 ID。我需要通过脚本在这些 ID 上创建索引,这样我就不必一次又一次地运行 ensureIndex 命令。 db.getCollection("element
在我的数据库中,每个包含项目的文档中都有一个嵌套的元素数组,格式如下: elements:[ { "elem_id": 12, items: [ {"i_id": 1
我正在构建一个应用程序,其中用户可以位于不同的时区,并且我运行的查询对他们的时区很敏感。 我遇到的问题是 MongoDB 似乎在查询时忽略了时区! 这是日期字段“2019-09-29T23:52:13
我正在研究使用 mongodb 进行分片,我有以下结构: 1 个 Mongod 到我的 ConfigServer,在 ReplicaSet 中只有 1 个成员 2 个分片,每个分片在 ReplicaS
我正在尝试获取一个 mongoDB 对象,例如 Friend1 包含另一个 mongoDB 对象 Friend2,该对象又包含第一个对象 Friend1本质上使它成为一个循环对象引用。 要么这样,要么
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题? Update the question所以它是on-topic对于堆栈溢出。 9年前关闭。 Improve this que
Mongo 版本 5.0.2。 Ubuntu 20.0 我在本地主机中启用了 MongoDB 连接的安全性。 我正在尝试通过以下命令使用身份验证详细信息连接我的本地主机 MongoDBmongo ad
我即将将分片的 MongoDB 环境从 2.0.7 升级到 2.2.9,最终我想升级到 2.4.9,但显然我需要通过 2.2 来完成。 2.2 的发行说明声明配置服务器应该首先升级其二进制文件,然后是
目前,我无法在我的虚拟 Ubuntu 机器上远程连接 mongodb 服务器。我无法使用在我的 Windows PC 上运行的 Robomongo 客户端连接,该 PC 也运行 vm。 这是两台电脑的
我创建了一个免费的 mongodb 集群。我创建了一个用户,设置了与 mongodb compass 的连接,复制了连接字符串,然后打开了我的 mongodb compass。将复制的字符串粘贴到那里
我使用 java 代码创建了 mongo 数据库集合索引 dbCollection.createIndex("accountNumber"); 当我看到索引使用 db.accounts.getInde
我是一名优秀的程序员,十分优秀!