python - 我如何实现一个马尔可夫链，当它消耗太多内存时清除旧数据？

Question

不久前我写了一个Markov chain Python 中的 IRC 文本生成器。它会在运行一两个月后耗尽我 VPS 的所有可用内存，我需要清除它的数据并重新开始。现在我正在重写它，我想尽可能优雅地解决内存问题。

我必须精简的数据通常是一个将字符串映射到字符串列表的字典。更具体地说，消息中的每个词都映射到所有可能的后续词。这仍然过于简单化，但足以将我的问题背景化。

目前，我正在研究的解决方案涉及管理数据“桶”。它会跟踪每个桶的表观大小，一旦它达到一定大小就“归档”一个桶并移动到一个新的桶，并且在 5 个左右的桶之后它会删除最旧的“归档”桶每次有新桶时创建。这样做的好处是简单:删除整个桶不会产生任何死胡同或无法访问的词，因为每条消息中的词都进入同一个桶。

问题是“跟踪每个桶的表观大小”说起来容易做起来难。

我首先尝试使用 sys.getsizeof，但很快发现它无法确定对象在内存中的实际 大小。我还研究了 guppy/heapy/各种其他内存使用模块，但它们似乎都没有做我正在寻找的事情(即对单个对象进行基准测试)。目前我正在试验较低级别的 psutil模块。以下是应用程序当前状态的摘录:

class Markov(object):
    # (constants declared here)
    def __init__(self):
        self.proc = psutil.Process(os.getpid())
        self.buckets = []
        self._newbucket()

    def _newbucket(self):
        self.buckets.append(copy.deepcopy(self.EMPTY_BUCKET))

    def _checkmemory(f):
        def checkmemory(self):
            # Check memory usage of the process and the entire system
            if (self.proc.get_memory_percent() > self.MAX_MEMORY
                    or psutil.virtual_memory().percent > self.MAX_TOTAL_MEMORY):
                self.buckets.pop(0)
            # If we just removed the last bucket, add a new one
            if not self.buckets:
                self._newbucket()
            return f()
        return checkmemory

    @_checkmemory
    def process(self, msg):
        # generally, this adds the words in msg to self.buckets[-1]

    @_checkmemory
    def generate(self, keywords):
        # generally, this uses the words in all the buckets to create a sentence

这里的问题是这只会使桶过期；我不知道何时“归档”当前存储桶，因为 Python 的开销内存使我无法准确确定我距离达到 self.MAX_MEMORY 的距离。更不用说 Markov 类实际上是由 headless IRC 客户端管理的众多“插件”之一(为简洁起见我省略了另一个细节)，因此开销不仅存在，而且不可预测。

简而言之:有没有一种方法可以准确地对单个 Python 对象进行基准测试？或者，如果您能想到比我的基于桶的解决方案更好的方法来“使”旧数据“过期”，我是所有的耳朵。

Answer 1

这可能是一个有点老套的解决方案，但如果您的桶对象是可腌制的(听起来确实如此)，您可以腌制它们并测量腌制对象字符串的字节长度。它可能不完全是内存中解压缩对象的大小，但它应该随着对象的增长而线性增长，并让您很好地了解对象之间的相对大小。

为了避免必须 pickle 非常大的对象，您可以通过单独 pickle 来测量添加到桶中的每个条目的大小，并将其字节长度添加到桶的总字节长度属性中。但请记住，如果您这样做，条目和存储桶的内部绑定(bind)将使用一些开销内存，这些内存不会通过条目本身的独立大小反射(reflect)出来，但您可以运行一些测试来分析并计算出超出其实际大小的每个新条目的 %memory 开销。