gpt4 book ai didi

Python 列表太大,无法删除

转载 作者:太空宇宙 更新时间:2023-11-04 03:58:07 26 4
gpt4 key购买 nike

我有一个生成“事件”的迭代器/生成器。事件由名称、时间戳和值组成。我想将它们存储在 NumPy 数组中。这是在 _LoadTriples() 中完成的:

def _LoadTriples(abortEvt, count=[1]):
it = _YieldTriples()
while True:
if abortEvt.is_set():
it.close()
break
t0 = time.time()
self.allEvents.append(np.fromiter(it,
dtype=[('sigNameIdx', 'i'),
('time', 'f'),
('value', 'f8')],
count=count[-1]))
dur = time.time() - t0
if dur < 0.2:
count.append(count[-1]*2)
elif dur > 0.4 and count[-1] != 1:
count.append(count[-1]/2)
else:
count.append(count[-1])

_YieldTriples 是生成器,abortEvt 是告诉我用户何时中止迭代的事件。 self.allEvents 是一个空列表。在这里,我想用三元组 (name, timestamp, value) 附加 NumPy 数组。 这是一个数组列表,因为我想有可能中断迭代,但我不能中断 numpy.fromiter。因此,每隔大约 0.3 秒我就可以停止迭代。

一切正常。 但是,在一个示例中,Python 很快用完了列表的 300MB 内存!当我停止迭代时,我的列表最多只需要 10 MB,这取决于我停止它的时间,但是在几次调用 self.allEvents.append(np.fromiter(...)) 之后,300MB 是使用过,我完全不知道为什么。

此外,在我停止整个程序之前,即使我在调用该函数后直接删除了 self.allEvents,也不会释放此内存。一定有一些引用资料阻止我发布它。有什么方法可以查看哪些对象引用了列表?

还有一件事要提到:该函数作为一个新的 threading.Thread 被调用,但是主线程等待它...

编辑:我没有提到,一旦 300MB 被使用,随着列表的增长不再分配内存。看起来列表在一些追加之后保留了这个内存。

最佳答案

你应该尝试:

def _LoadTriples(abortEvt, count=None):
if count is None:
count = [1]
...

可变的默认参数会很快导致问题。

关于Python 列表太大,无法删除,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17218225/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com