python - 减少python程序的内存占用

Question

我正在使用 numpy 和 pandas 在 python 中开发数据分析 worker。我将部署很多这样的工作器，所以我想保持它的轻量级。

我试着用这段代码检查:

import logging
import resource
logging.basicConfig(level=logging.DEBUG)

def printmemory(msg):
    currentmemory = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
    logging.debug(msg+': total memory:%r Mb' % (int(currentmemory)/1000000.))

printmemory('begin')

#from numpy import array, nan, mean, std, sqrt, square
import numpy  as np
printmemory('numpy')

import pandas  as pd
printmemory('numpy')

而且我发现简单地将它们加载到内存中会使我的 worker 变得很重。有没有办法减少 numpy 和 pandas 的内存占用？

否则，有什么更好的解决方案建议吗？

Answer 1

很抱歉地告诉你，没有办法只将 python 模块的一部分加载到内存中。如果适用于您的情况，您可以使用多线程 - 线程可以共享相同的模块内存。