- mongodb - 在 MongoDB mapreduce 中,如何展平值对象?
- javascript - 对象传播与 Object.assign
- html - 输入类型 ="submit"Vs 按钮标签它们可以互换吗?
- sql - 使用 MongoDB 而不是 MS SQL Server 的优缺点
我正在使用 python 和 django 来制作基于 Web 的应用程序。我使用 mongodb 作为后端数据库。我有一个名为 MongoConnection 的基类,它使用 pymongo 层与 mongodb 进行通信。我对这一层非常满意,因为它为我将数据库与业务层分开。我的自定义 MongoConnenction 类如下:-
#!/usr/bin/env python
# encoding: utf-8
# Create your views here.
from pymongo import MongoClient
import pymongo
from pymongo import Connection
import json
from bson import BSON
from bson import json_util
class MongoConnection():
def __init__ (self, host="localhost",port=27017, db_name='indexer', conn_type="local", username='', password=''):
self.host = host
self.port = port
self.conn = Connection(self.host, self.port)
self.db = self.conn[db_name]
self.db.authenticate(username, password)
def ensure_index(self, table_name, index=None):
self.db[table_name].ensure_index([(index,pymongo.GEOSPHERE)])
def create_table(self, table_name, index=None):
self.db[table_name].create_index( [(index, pymongo.DESCENDING)] )
def get_one(self,table_name,conditions={}):
single_doc = self.db[table_name].find_one(conditions)
json_doc = json.dumps(single_doc,default=json_util.default)
json_doc = json_doc.replace("$oid", "id")
json_doc = json_doc.replace("_id", "uid")
return json.loads(json_doc)
def get_all(self,table_name,conditions={}, sort_index ='_id', limit=100):
all_doc = self.db[table_name].find(conditions).sort(sort_index, pymongo.DESCENDING).limit(limit)
json_doc = json.dumps(list(all_doc),default=json_util.default)
json_doc = json_doc.replace("$oid", "id")
json_doc = json_doc.replace("_id", "uid")
return json.loads(str(json_doc))
def insert_one(self, table_name, value):
self.db[table_name].insert(value)
def update_push(self, table_name, where, what):
#print where, what
self.db[table_name].update(where,{"$push":what},upsert=False)
def update(self, table_name, where, what):
#print where, what
self.db[table_name].update(where,{"$set":what},upsert=False)
def update_multi(self, table_name, where, what):
self.db[table_name].update(where,{"$set":what},upsert=False, multi=True)
def update_upsert(self, table_name, where, what):
self.db[table_name].update(where,{"$set":what},upsert=True)
def map_reduce(self, table_name, mapper, reducer, query, result_table_name):
myresult = self.db[table_name].map_reduce(mapper, reducer, result_table_name, query)
return myresult
def map_reduce_search(self, table_name, mapper, reducer,query, sort_by, sort = -1, limit = 20):
if sort_by == "distance":
sort_direction = pymongo.ASCENDING
else:
sort_direction = pymongo.DESCENDING
myresult = self.db[table_name].map_reduce(mapper,reducer,'results', query)
results = self.db['results'].find().sort("value."+sort_by, sort_direction).limit(limit)
json_doc = json.dumps(list(results),default=json_util.default)
json_doc = json_doc.replace("$oid", "id")
json_doc = json_doc.replace("_id", "uid")
return json.loads(str(json_doc))
def aggregrate_all(self,table_name,conditions={}):
all_doc = self.db[table_name].aggregate(conditions)['result']
json_doc = json.dumps(list(all_doc),default=json_util.default)
json_doc = json_doc.replace("$oid", "id")
json_doc = json_doc.replace("_id", "uid")
return json.loads(str(json_doc))
def group(self,table_name,key, condition, initial, reducer):
all_doc = self.db[table_name].group(key=key, condition=condition, initial=initial, reduce=reducer)
json_doc = json.dumps(list(all_doc),default=json_util.default)
json_doc = json_doc.replace("$oid", "id")
json_doc = json_doc.replace("_id", "uid")
return json.loads(str(json_doc))
def get_distinct(self,table_name, distinct_val, query):
all_doc = self.db[table_name].find(query).distinct(distinct_val)
count = len(all_doc)
parameter = {}
parameter['count'] = count
parameter['results'] = all_doc
return parameter
def get_all_vals(self,table_name,conditions={}, sort_index ='_id'):
all_doc = self.db[table_name].find(conditions).sort(sort_index, pymongo.DESCENDING)
json_doc = json.dumps(list(all_doc),default=json_util.default)
json_doc = json_doc.replace("$oid", "id")
json_doc = json_doc.replace("_id", "uid")
return json.loads(json_doc)
def get_paginated_values(self, table_name, conditions ={}, sort_index ='_id', pageNumber = 1):
all_doc = self.db[table_name].find(conditions).sort(sort_index, pymongo.DESCENDING).skip((pageNumber-1)*15).limit(15)
json_doc = json.dumps(list(all_doc),default=json_util.default)
json_doc = json_doc.replace("$oid", "id")
json_doc = json_doc.replace("_id", "uid")
return json.loads(json_doc)
def get_count(self, table_name,conditions={}, sort_index='_id'):
count = self.db[table_name].find(conditions).count()
return count
现在,问题是我的 moongodb 使用了大量的处理能力和 RAM。通常它消耗大约 80-90% 的 CPU。
我怀疑每次创建此类的实例时我都没有关闭 mongoconnection。我需要在 mongodb 中手动关闭连接吗?
最佳答案
Connection
实例无需关闭,Python 垃圾回收时它会自行清理。
你应该使用 MongoClient
而不是 Connection
; Connection
已弃用。要利用连接池,您可以创建一个在进程的整个生命周期中持续存在的 MongoClient
。
PyMongo 将文档表示为 dicts。为什么要将它给您的每个字典编码为 JSON,然后再次解码?直接修改对象可能更有效。
也就是说,我同意 user3683180 的观点,即真正的问题——MongoDB 占用如此多 CPU 的原因——在于您的架构或索引设计,而不是您的 Python 代码。
关于python - 我需要在 mongodb 中关闭连接吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23909975/
我知道这个问题可能已经被问过,但我检查了所有这些,我认为我的情况有所不同(请友善)。所以我有两个数据集,第一个是测试数据集,第二个是我保存在数据框中的预测(预测值,这就是没有数据列的原因)。我想合并两
在 .loc 方法的帮助下,我根据同一数据框中另一列中的值来识别 Panda 数据框中某一列中的值。 下面给出了代码片段供您引用: var1 = output_df['Player'].loc[out
当我在 Windows 中使用 WinSCP 通过 Ubuntu 连接到 VMware 时,它提示: The server rejected SFTP connection, but it lis
我正在开发一个使用 xml web 服务的 android 应用程序。在 wi-fi 网络中连接时工作正常,但在 3G 网络中连接时失败(未找到 http 404)。 这不仅仅发生在设备中。为了进行测
我有一个XIB包含我的控件的文件,加载到 Interface Builder(Snow Leopard 上的 Xcode 4.0.2)中。 文件的所有者被设置为 someClassController
我在本地计算机上管理 MySQL 数据库,并通过运行以下程序通过 C 连接到它: #include #include #include int main(int argc, char** arg
我不知道为什么每次有人访问我网站上的页面时,都会打开一个与数据库的新连接。最终我到达了大约 300 并收到错误并且页面不再加载。我认为它应该工作的方式是,我将 maxIdle 设置为 30,这意味着
希望清理 NMEA GPS 中的 .txt 文件。我当前的代码如下。 deletes = ['$GPGGA', '$GPGSA', '$GPGSV', '$PSRF156', ] searchquer
我有一个 URL、一个用户名和一个密码。我想在 C# .Net WinForms 中建立 VPN 连接。 你能告诉我从哪里开始吗?任何第三方 API? 代码示例将受到高度赞赏... 最佳答案 您可以像
有没有更好的方法将字符串 vector 转换为字符 vector ,字符串之间的终止符为零。 因此,如果我有一个包含以下字符串的 vector "test","my","string",那么我想接收一
我正在编写一个库,它不断检查 android 设备的连接,并在设备连接、断开连接或互联网连接变慢时给出回调。 https://github.com/muddassir235/connection_ch
我的操作系统:Centos 7 + CLOUDLINUX 7.7当我尝试从服务器登录Mysql时 [root@server3 ~]# Mysql -u root -h localhost -P 330
我收到错误:Puma 发现此错误:无法打开到本地主机的 TCP 连接:9200(连接被拒绝 - 连接(2)用于“本地主机”端口 9200)(Faraday::ConnectionFailed)在我的
请给我一些解决以下错误的方法。 这是一个聊天应用....代码和错误如下:: conversations_controller.rb def create if Conversation.bet
我想将两个单元格中的数据连接到一个单元格中。我还想只组合那些具有相同 ID 的单元格。 任务 ID 名称 4355.2 参与者 4355.2 领袖 4462.1 在线 4462.1 快速 4597.1
我经常需要连接 TSQL 中的字段... 使用“+”运算符时 TSQL 强制您处理的两个问题是 Data Type Precedence和 NULL 值。 使用数据类型优先级,问题是转换错误。 1)
有没有在 iPad 或 iPhone 应用程序中使用 Facebook 连接。 这个想法是登录这个应用程序,然后能够看到我的哪些 facebook 用户也在使用该应用程序及其功能。 最佳答案 是的。
我在连接或打印字符串时遇到了一个奇怪的问题。我有一个 char * ,可以将其设置为字符串文字的几个值之一。 char *myStrLiteral = NULL; ... if(blah) myS
对于以下数据 - let $x := "Yahooooo !!!! Select one number - " let $y := 1 2 3 4 5 6 7 我想得到
我正在看 UDEMY for perl 的培训视频,但是视频不清晰,看起来有错误。 培训展示了如何使用以下示例连接 2 个字符串: #!usr/bin/perl print $str = "Hi";
我是一名优秀的程序员,十分优秀!