python - 读取过多 gml 文件时出现 "RuntimeError: fdopen() failed unexpectedly"

Question

我正在使用带有 python 的 igraph 读取太多 GML 文件(几千个)。在运行代码的某个时刻，我收到以下运行时错误:

RuntimeError: fdopen() failed unexpectedly

我花了很多时间试图了解原因，但没有发现任何有用的东西。

根本原因来自此处的代码 https://github.com/igraph/python-igraph/blob/master/src/filehandle.c#L231

我使用的代码如下。仅读取数百个文件后，它在读取 GML 行时中断。

gmls= []
for f in sorted(glob.glob('path_to_gmls'), key=os.path.getsize):
    g = Graph.Read_GML(f)
    gmls.append(g)

更新:我在 Mac 上尝试了相同的代码，它工作得很好。问题出在 Windows 上。

更新 2:我使用以下代码测试了该包，它运行没有问题。

import igraph.test
igraph.test.run_tests()

Answer 1

你的内存不足吗？ (我不是 python 程序员)。如果同时打开多个文件，那么这些打开句柄的缓冲区可能会占用大量内存。此外，您似乎正在将文件的内容附加到内存数组中。如果内容再次变大，则可能是内存问题。