Python多处理内存增加

Question

我有一个应该永远运行的程序。这是我正在做的:

from myfuncs import do, process

class Worker(multiprocessing.Process):

    def __init__(self, lock):
        multiprocesing.Process.__init__(self)
        self.lock = lock
        self.queue = Redis(..) # this is a redis based queue
        self.res_queue = Redis(...)

     def run():
         while True:
             job = self.queue.get(block=True)
             job.results = process(job)
             with self.lock:
                 post_process(self.res_queue, job)


def main():
    lock = multiprocessing.Semaphore(1)
    ps = [Worker(lock) for _ in xrange(4)]
    [p.start() for p in ps]
    [p.join() for p in ps]

self.queue 和 self.res_queue 是两个类似于 python stdlib Queue 的对象，但它们使用 Redis 数据库作为后端。

函数过程对job携带的数据做一些处理(主要是html解析)并返回字典。

函数 post_process 通过检查一些条件将作业写入另一个 redis 队列(一次只有一个进程可以检查条件，这就是锁定的原因)。它返回真/假。

程序每天使用的内存都在增加。有人能弄清楚发生了什么吗？

当作业超出运行方法的范围时，内存应该是可用的吗？

Answer 1

Memory should be free when job get outs of scope in the run method correct?

首先，作用域是整个 run 方法，它会永远循环，因此永远不会发生这种情况。 (此外，当您退出 run 方法时，进程将关闭并且它的内存无论如何都会被释放……)

但即使它确实超出了范围，那也不意味着您似乎认为它意味着什么。 Python 不像 C++，其中变量存储在堆栈中。所有对象都存在于堆中，并且它们一直存在，直到不再有对它们的引用。超出范围的变量意味着该变量不再引用它曾经引用的任何对象。如果该变量是对该对象的唯一引用，那么它将被释放*，但如果您在其他地方进行了其他引用，则在这些其他引用消失之前，该对象无法被释放。

与此同时，超出范围并没有什么神奇之处。变量停止引用对象的任何方式都具有相同的效果——无论是变量超出范围、您对其调用 del 还是为其分配新值。因此，每次通过循环，当您执行 job = 时，您将删除之前对 job 的引用，即使没有任何内容超出范围。 (但请记住，在高峰期您​​将有 两个 工作，而不是一个，因为新工作在旧工作被释放之前被从队列中拉出。如果这是一个问题，您可以随时做job = None 在阻塞队列之前。)

所以，假设问题实际上是 job 对象(或它拥有的东西)，问题是您没有向我们展示的一些代码在某处保留了对它的引用。

在不知道自己在做什么的情况下，很难提出修复建议。它可能只是“不要在那里存储”。或者它可能是“存储一个 weakref 而不是对象本身”。或者“添加一个 LRU 算法”。或者“添加一些流量控制，这样如果您的备份过多，您就不会继续工作，直到内存不足”。

---

_{* 在 CPython 中，这会立即发生，因为垃圾收集器是基于引用计数的。另一方面，在 Jython 和 IronPython 中，垃圾收集器仅依赖于底层 VM 的垃圾收集器，因此在 JVM 或 CLR 注意到它不再被引用之前不会释放对象，这通常不是立即的，并且是不确定的.}