python - 在PyMongo中，MongoClient的maxPoolSize=100的默认值没有效果？

Question

下面是 PyMongo 连接的简单测试片段:

from pymongo import MongoClient

clients = [] 
for i in range(0,1000):
    con = MongoClient('mongodb://localhost:27017/')
    clients.append(con)
    print(i)

这是输出:

... ... 998 999

这是 MongoDB 控制台中的输出:

2018-03-24T20:00:55.746+0530 I NETWORK [listener] connection accepted from 127.0.0.1:51272 #1500 (1000 connections now open) 2018-03-24T20:00:55.747+0530 I NETWORK [conn1500] received client metadata from 127.0.0.1:51272 conn: { driver: { name: "PyMongo", version: "3.6.1" }, os: { type: "Darwin", name: "Darwin", architecture: "x86_64", version: "10.10.1" }, platform: "CPython 3.6.0.final.0" } 2018-03-24T20:00:55.773+0530 I NETWORK [conn1486] end connection 127.0.0.1:51286 (999 connections now open) 2018-03-24T20:00:55.773+0530 I NETWORK [conn1485] end connection 127.0.0.1:51285 (998 connections now open) 2018-03-24T20:00:55.773+0530 I NETWORK [conn1484] end connection 127.0.0.1:51284 (997 connections now open) . . . . . .

我看到 MongoClient 有一个关键字参数 maxPoolSize。默认值仅为 100。

但是上面的代码是如何工作的呢？

Answer 1

MongoClient has a keyword argument maxPoolSize. This has the default value of only 100.

这是正确的。 PyMongo 中 maxPoolSize 的默认值(自 v3.6 起)MongoClient是 100。但是，maxPoolSize 参数控制 MongoClient 实例的每个 MongoDB 服务器的最大内置连接池。

您的示例代码片段创建了 1000 个 MongoClient 实例。请注意，每个进程只需要一个 MongoClient，并在所有操作中重用它。为每个请求创建一个新客户端是一个常见的错误，这是非常低效的。

But how the above code works?

如果您想检查限制是否有效，可以使用 Python threading module创建线程来测试 MongoClient 连接的限制。

您还可以使用另外两个参数:

• waitQueueMultiple:此参数设置从池中获取连接之前可以在队列中等待的线程数量限制。通过设置较低的 maxPoolSize 和较低的 waitQueueMultiple，您的代码将收到 ExceededMaxWaiters异常(exception)。

• waitQueueTimeoutMS:此参数设置线程在从池中获取连接之前应在队列中等待的时间。通过设置较低的 maxPoolSize 和较低的 waitQueueTimeoutMS，您的代码将收到 ConnectionFailure异常(exception)。

示例:

def worker(num, db): 
    print("Thread number %s" % num)
    try:
        print(db.test.insert({"a":num, "b":num*2}))
    except Exception as e: 
        print("Exception: %s" % e)
    return 

client = MongoClient("mongodb://localhost:27017/", 
                     maxPoolSize=1, 
                     waitQueueTimeoutMS=1, 
                     waitQueueMultiple=1)
database = client.test
threads = []

for i in range(100): 
    t = threading.Thread(target=worker, args=(i, database))
    threads.append(t) 
    # Start thread.
    t.start()

# Wait for all threads to complete. 
for t in threads: 
    t.join() 

参见How does connection pooling work in PyMongo?更多细节。请使用提供的默认值，除非您有需要更改上述值的特定用例。