django - Numpy 运行时警告导致 Apache Worker 卡住在 "Sending Reply"状态

Question

最近，我正在追踪我的代码中一个难以捉摸的错误。它归结为一些计算数组一部分平均值的 numpy 代码。

np.array(X[X == i]).mean(0)

当然，如果 X 中没有值为 i 的元素，那么前面的代码相当于计算一个空数组的平均值。

np.array([]).mean(0)

这导致值 nan。但在某些架构上，它也会导致此警告。

RuntimeWarning: invalid value encountered in double_scalars

我们修复了代码，现在一切正常，但这个故事的另一部分有点麻烦。

该错误的表现方式是它导致 Apache 进程卡住，每个工作人员都停留在“正在发送回复”状态。被卷入“正在发送回复”的 worker 并不是真正引起问题的 worker ，而是紧随其后的 worker 。没有引发 python 异常，内存使用情况良好，CPU 几乎没有被使用。它只是慢慢地削弱 Apache，直到它变得完全没有响应。

我们使用 Apache、Django、mod_wsgi 和 numpy 等。

关于为什么这个 numpy 代码导致 Apache 卡住的任何想法？我想采取行动以防止将来发生这种情况。

Answer 1

参见:

• http://code.google.com/p/modwsgi/wiki/ApplicationIssues#Python_Simplified_GIL_State_API

From memory numpy 受该问题变体的影响。确保强制 WSGI 应用程序在主解释器上下文中运行。