- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章PyMongo 查询数据的实现由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
往 mongodb存储的所有数据,都是为了需要读取的时候能够取出。 但读取除了按某一列比如分数: 排序 读取;还会出现我只看某一段时间、某个班的条件筛选;还会出现我想看每个班平均分 聚合 求平均....等等多样操作 这些操作都可以通过 find_one()、find() 完成:
1
2
3
4
5
|
ret2find
=
collect.find_one()
# {'_id': ObjectId('5ea780bf747e3e128470e485'), 'class_name': '高三(1)班', 'student_name': '张三', 'subject': '英语', 'score': 100, 'date': '20200301'}
ret2find
=
collect.find()
# <pymongo.cursor.Cursor object at 0x0000024BBEBE15C8>
|
从上面的结果可以看出,find_one() 查询得出单一字典;find()则是一个生成器对象能够通过 for val in ret2find: 遍历取出 。
但能取出全部数据还不够,查询一般是会带条件、甚至复杂的条件 —— 比如:查询出 高三(1)班,张三 或 李四,成绩大于90 的科目,该怎么做呢?
1
2
3
4
|
ret2find
=
collect.find({
"class_name"
:
"高三(1)班"
,
"score"
:{
"$gt"
:
90
},
"$or"
:[{
"student_name"
:
"张三"
},{
"student_name"
:
"李四"
}]})
for
val
in
ret2find:
print
(val)
|
上面有两个要点:
{"class_name":"高三(1)班","score":{"$gt":90}} 。
这一段 写法 表示 “高三(1)班 且 分数 > 90”; 而 $gt 比较操作符,表 大于意思,除 $gt 操作符以外还有:
。
符号 | 含义 |
---|---|
$lt | 小于 |
$lte | 小于等于 |
$gt | 大于 |
$gte | 大于等于 |
$ne | 不等于 |
$in | 在范围内 |
$nin | 不在范围内 |
。
{"$or":[{"student_name":"张三"},{"student_name":"李四"}]} 。
这一段 写法 表示 “学生名称为 张三 或 李四” 而其中的 $or 逻辑操作符,用它来表示条件之间的关系。除了 $or 以外的逻辑操作符还有:
。
符号 | 含义 |
---|---|
$and | 按条件取 交集 |
$not | 单个条件的 相反集合 |
$nor | 多个条件的 相反集合 |
$or | 多个条件的 并集 |
。
除了上述常规操作外,具体使用场景中我们还会用到:
。
符号 | 含义 | 示例 | 示例含义 |
---|---|---|---|
$regex | 正则匹配 | {"student_name":{"regex":".∗三"}} | 学生名以 “三” 结尾 |
$expr | 允许查询中使用 聚合表达式 | {"expr":{"gt":["spent","budget"]}} | 查询 花费 大于 预算 的超支记录 |
$exists | 属性是否存在 | {"date":{"$exists": True}} | date属性存在 |
$exists | 属性是否存在 | {"date":{"$exists": True}} | date属性存在 |
$type | 类型判断 | {"score":{"$type":"int"}} | score的类型为int |
$mod | 取模操作 | {'score': {'$mod': [5, 0]}} | 分数取5、0的模 |
。
更多 查询操作符 可以点击 查看官方文档 。
在用pyhton遍历mongo数据中时候,发限查询到101行就会阻塞,如下 。
1
2
3
4
5
6
7
|
lista_a
=
[]
for
info
in
db.get_collection(
"dbs"
).find():
lista_a.append(info)
print
(
"info nums="
,
len
(info))
'''结果显示'''
'''info nums=101'''
|
分析原因:mongodb的find()方法返回游标cursor,可能有一个限制阈值101,参考文档,如下 。
原文:
The MongoDB server returns the query results in batches. The amount of data in the batch will not exceed the maximum BSON document size. To override the default size of the batch, see batchSize() and limit(). 。
New in version 3.4: Operations of type find(), aggregate(), listIndexes, and listCollections return a maximum of 16 megabytes per batch. batchSize() can enforce a smaller limit, but not a larger one. 。
find() and aggregate() operations have an initial batch size of 101 documents by default. Subsequent getMore operations issued against the resulting cursor have no default batch size, so they are limited only by the 16 megabyte message size. 。
For queries that include a sort operation without an index, the server must load all the documents in memory to perform the sort before returning any results. 。
翻译:
MongoDB服务器批量返回查询结果。批处理中的数据量不会超过最大BSON文档大小。要覆盖批处理的默认大小,请参见batchSize()和limit()。 新版本3.4:类型为find()、aggregate()、listIndexes和listCollections的操作每批最多返回16兆字节。batchSize()可以执行较小的限制,但不能执行较大的限制。 find()和aggregate()操作的初始批处理大小默认为101个文档。针对生成的游标发出的后续getMore操作没有默认的批处理大小,因此它们仅受16mb消息大小的限制。 对于包含没有索引的排序操作的查询,服务器必须在返回任何结果之前加载内存中的所有文档来执行排序.
1
2
3
4
|
lista_a
=
[]
for
info
in
db.get_collection(
"dbs"
).find().batch_size1(
5000
):
#修改最大限制阈
lista_a.append(info)
print
(
"info nums="
,
len
(info))
|
但是这种方法是每次游标返回5000条数据,循环遍历,如果单词查找50000次应该怎么写呢?如下 。
1
2
3
4
|
lista_a
=
[]
cousor
=
db.get_collection(
"dbs"
).find().batch_size1(
5000
)
for
i
in
range
(
50000
):
#修改最大限制阈
lista_a.append(
next
(cousor))
|
到此这篇关于PyMongo 查询数据的实现的文章就介绍到这了,更多相关PyMongo 查询数据内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我! 。
原文链接:https://juejin.cn/post/6978511249672208392 。
最后此篇关于PyMongo 查询数据的实现的文章就讲到这里了,如果你想了解更多关于PyMongo 查询数据的实现的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
背景: 我最近一直在使用 JPA,我为相当大的关系数据库项目生成持久层的轻松程度给我留下了深刻的印象。 我们公司使用大量非 SQL 数据库,特别是面向列的数据库。我对可能对这些数据库使用 JPA 有一
我已经在我的 maven pom 中添加了这些构建配置,因为我希望将 Apache Solr 依赖项与 Jar 捆绑在一起。否则我得到了 SolarServerException: ClassNotF
interface ITurtle { void Fight(); void EatPizza(); } interface ILeonardo : ITurtle {
我希望可用于 Java 的对象/关系映射 (ORM) 工具之一能够满足这些要求: 使用 JPA 或 native SQL 查询获取大量行并将其作为实体对象返回。 允许在行(实体)中进行迭代,并在对当前
好像没有,因为我有实现From for 的代码, 我可以转换 A到 B与 .into() , 但同样的事情不适用于 Vec .into()一个Vec . 要么我搞砸了阻止实现派生的事情,要么这不应该发
在 C# 中,如果 A 实现 IX 并且 B 继承自 A ,是否必然遵循 B 实现 IX?如果是,是因为 LSP 吗?之间有什么区别吗: 1. Interface IX; Class A : IX;
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我正在阅读标准haskell库的(^)的实现代码: (^) :: (Num a, Integral b) => a -> b -> a x0 ^ y0 | y0 a -> b ->a expo x0
我将把国际象棋游戏表示为 C++ 结构。我认为,最好的选择是树结构(因为在每个深度我们都有几个可能的移动)。 这是一个好的方法吗? struct TreeElement{ SomeMoveType
我正在为用户名数据库实现字符串匹配算法。我的方法采用现有的用户名数据库和用户想要的新用户名,然后检查用户名是否已被占用。如果采用该方法,则该方法应该返回带有数据库中未采用的数字的用户名。 例子: “贾
我正在尝试实现 Breadth-first search algorithm , 为了找到两个顶点之间的最短距离。我开发了一个 Queue 对象来保存和检索对象,并且我有一个二维数组来保存两个给定顶点
我目前正在 ika 中开发我的 Python 游戏,它使用 python 2.5 我决定为 AI 使用 A* 寻路。然而,我发现它对我的需要来说太慢了(3-4 个敌人可能会落后于游戏,但我想供应 4-
我正在寻找 Kademlia 的开源实现C/C++ 中的分布式哈希表。它必须是轻量级和跨平台的(win/linux/mac)。 它必须能够将信息发布到 DHT 并检索它。 最佳答案 OpenDHT是
我在一本书中读到这一行:-“当我们要求 C++ 实现运行程序时,它会通过调用此函数来实现。” 而且我想知道“C++ 实现”是什么意思或具体是什么。帮忙!? 最佳答案 “C++ 实现”是指编译器加上链接
我正在尝试使用分支定界的 C++ 实现这个背包问题。此网站上有一个 Java 版本:Implementing branch and bound for knapsack 我试图让我的 C++ 版本打印
在很多情况下,我需要在 C# 中访问合适的哈希算法,从重写 GetHashCode 到对数据执行快速比较/查找。 我发现 FNV 哈希是一种非常简单/好/快速的哈希算法。但是,我从未见过 C# 实现的
目录 LRU缓存替换策略 核心思想 不适用场景 算法基本实现 算法优化
1. 绪论 在前面文章中提到 空间直角坐标系相互转换 ,测绘坐标转换时,一般涉及到的情况是:两个直角坐标系的小角度转换。这个就是我们经常在测绘数据处理中,WGS-84坐标系、54北京坐标系
在软件开发过程中,有时候我们需要定时地检查数据库中的数据,并在发现新增数据时触发一个动作。为了实现这个需求,我们在 .Net 7 下进行一次简单的演示. PeriodicTimer .
二分查找 二分查找算法,说白了就是在有序的数组里面给予一个存在数组里面的值key,然后将其先和数组中间的比较,如果key大于中间值,进行下一次mid后面的比较,直到找到相等的,就可以得到它的位置。
我是一名优秀的程序员,十分优秀!