Ubuntu : how to catch out of memory exceptions? 上的 python

Question

我在 Ubuntu AWS EC2 实例上运行的 python 脚本中有以下 block :

try:
    data = json.loads(line)
    # further processing of data
except Exception, e:  
    # something went bad

line 是从文本文件中提取的字符串。在大多数情况下，它会得到很好的处理。有时，我会收到冗长的台词。在这种情况下，脚本终止(“-9”)并且 dmesg -T 显示一条消息，如 [Tue Jan 8 16:10:48 2013] Out of memory: Kill process 13609 (python ) 得分 910 或牺牲 child

我不明白的是为什么它没有在 try-except block 中捕获异常而不是崩溃。是否可以在此 block 中进行更改以使脚本不会崩溃但会引发异常？谢谢

Answer 1

您的 Python 进程正在被内核 OOM(内存不足) killer ( docs ) 杀死。这是用 SIGKILL 杀死 Python，因此 Python 没有任何机会响应此事件...因此它无法为您的代码生成任何异常。

您可能需要在具有更多资源的环境中运行您的进程(这样您就不会用完这么大比例的系统内存)，或者您可能需要限制您可以使用的 JSON 数据的大小阅读。

我在下面发布的其中一个链接提到了 ijson ，这是一个迭代的 JSON 解析器。这可能比标准的 JSON 解析器更节省内存，但我还没有尝试过。