python - python 网络服务器上打开的套接字数量不断增加

Question

我有一个简单的 python 网络服务器，它在 2 天/3 天后一直失败。经过调查是因为它达到了打开文件的数量限制。打开的文件描述符是套接字。 (ls -l/proc/pid/fd/xxx : /proc/pid/fd/xxx -> socket:[yyyyy])

我可以增加 ulimit，但我宁愿弄清楚发生了什么。

一些上下文

• 我有 50 台机器每小时通过一个简单的 POST id=machine_id,cpu_usage=xxx 向服务器报告它们已启动并正在运行
• 服务器只是将其存储在数据库 (mongodb) 中
• 有一个 html 页面来监控事情，用一些 jquery/get json 来制作给定机器的 cpu 使用情况图表
• 有一个用于在 GET 上提供 [(date, cpu_usage)] 的处理程序？date_start,date_end,machine_id

我是唯一一个使用这个页面的人，正如我所说，每小时只有 50 个请求随机分发到服务器

问题可能源于:

• jquery 的 getjson 打开了一个套接字并且从未关闭它(可能是但我不这么认为，因为我重新启动了服务器并且没有进入监控页面)
• python 代码和我在“main”中定义处理程序的方式
• mongodb
• 我想不到的其他地方

主要代码:

import listener_handler
from flask import Flask

if __name__ == '__main__':
  app = Flask(__name__)

  listener_handl = None
  @app.route('/listener', methods=['POST'])
  def listener():
    global listener_handl
    if listener_handl is None:
      listener_handl = listener_handler.ListenerHandler()
    return listener_handl.Post()

  ... (other handlers for the getjson and the static monitoring page)

  app.run()

处理程序代码:

from flask import request

class ListenerHandler:
  def Post(self):
    Save(request.form.get('machine_id'), request.form.get('cpu_usage'))
    return 'ok'

mongo 数据库的代码:

import pymongo

mongo_client = pymongo.MongoClient()
mongo_db = mongo_client.stations_monitoring

def Save(machine_id, cpu_usage):
  mongo_db.db['monitoring'].save({'machine': machine_id, 'cpu': cpu_usage})

我试图保持代码轻量级，我对 python 有很好的经验，但对 python webserver 几乎没有经验，所以我真的不知道当我定义处理程序时，如果每次都创建一个新的套接字，我真的不知道引擎盖下发生了什么，如果最后关闭，...

我首先有一个 Flask 服务器(此处为代码)，然后转移到 Tornado(将 app.run 替换为一些 Tornado 导入和一些 IOLoop.instance().start()) 但这会导致同样的问题

Answer 1

我在 flask 和 pymongo 之间遇到了完全相同的问题；我通过清理每个请求来解决它。如果您没有性能原因让 MongoClient 句柄保持打开状态，您也可以关闭它。

http://api.mongodb.org/python/current/api/pymongo/mongo_client.html#pymongo.mongo_client.MongoClient.disconnect

import pymongo
class MongoConnector:
    def __init__(self):
        client = pymongo.MongoClient()
        self.db = client.stations_monitoring
    def close(self):
        self.db.disconnect()

def Save(machine_id, cpu_usage):
    mongoConnector = MongoConnector()
    mongoConnector.db['monitoring'].save({'machine': machine_id, 'cpu': cpu_usage})
    mongoConnector.close()

Flask 是单线程的，您的 WSGI 处理程序将生成您所需数量的独立应用程序，因此您无需担心 Flask 级别的线程支持。

如果您真的想保持 mongo 连接并且有性能原因这样做，MongoClient 支持 AutoReconnect 异常与重新连接，因此您不必自己处理它。

import pymongo
from pymongo.errors import AutoReconnect

class MongoConnector:
    def __init__(self):
        client = pymongo.MongoClient()
        self.db = client.stations_monitoring
    def close(self):
        self.db.disconnect()

mongoConnector = MongoConnector()
def Save(machine_id, cpu_usage):
    try:
        mongoConnector.db['monitoring'].save({'machine': machine_id, 'cpu': cpu_usage})
    except AutoReconnect:
        #should be reconnected now
        mongoConnector.db['monitoring'].save({'machine': machine_id, 'cpu': cpu_usage})

[编辑] 不知道为什么你的不工作。尝试简化您正在做的事情。如果您没有使用 getter 的理由，那就简单点吧。

测试 flask .py

from flask import Flask, request
import pymongo

app = Flask(__name__)

def SaveLog(machine_id, cpu_usage):
    mc = pymongo.MongoClient()
    db = mc.stations_monitoring
    db['monitoring'].save({'machine': machine_id, 'cpu': cpu_usage})
    mc.disconnect()

@app.route('/listener', methods=['POST', 'GET'])
def listener():
    SaveLog(request.form.get('machine_id'), request.form.get('cpu_usage'))
    return 'ok'

if __name__ == '__main__':
  app.run()

test_get.py 用请求敲击服务器。我的可以做到 ~50/s

import requests
from random import randint

while True:
    r = requests.get('http://localhost:5000/listener?machine_id=%s&cpu_usage=%s' %(randint(1,10000), randint(1,100)))
    print r.text

验证 fds(我的挂起大约 5-10 个打开的文件句柄)

ps aux | grep testflask.py | grep -v grep | awk '{print $2}' | xargs -I @ bash -c 'ls -l /proc/@/fd/ | wc -l'