c# - IronPython 在线程中使用 numpy 时抛出 InsufficientMemoryException

Question

我有一些从 C# 应用程序中调用的 IronPython 代码。
在我决定将一个函数更改为在线程中运行之前，这段代码运行良好。
当在 python 线程中调用 numpy 函数时，将抛出 InsufficientMemoryException 异常。
我搜索了解决方案但没有找到。有人可以解释为什么会这样吗？我该如何解决？

我认为只有当我有两个使用 numpy

的线程时才会发生这种情况

我这样运行代码:

C#:

_python.functionA(); # _python was created with "Python.CreateEngine()"
_python.functionA(); # twice on purpose

python :
my_python_script.py

import threading
import time
import numpy

def blah():    
    print numpy.array([100,100,0])

def functionA():
    t = threading.Timer(0,blah)    
    t.start()
    time.sleep(2)

我得到了这个异常:

Exception in thread Thread-1:
Traceback (most recent call last):
  File "c:\Program Files\IronPython 2.7.1\Lib\threading.py", line 552, in _Thread__bootstrap_inner
    self.run()
  File "c:\Program Files\IronPython 2.7.1\Lib\threading.py", line 756, in run
    self.function(*self.args, **self.kwargs)
  File "C:\workspace\my_python_script.py", line 113, in blah
    print numpy.array([100,100,0])
MemoryError: Exception of type 'System.InsufficientMemoryException' was thrown.

谢谢

更新 2014 年 7 月 13 日

即使我只运行一个线程并通过 IronPython 解释器，没有 C#，我也会得到这个异常:

C:\>"c:\Program Files\IronPython 2.7.1\ipy.exe"
IronPython 2.7.1 (2.7.0.40) on .NET 4.0.30319.18063
Type "help", "copyright", "credits" or "license" for more information.
>>> execfile(r"c:\workspace\my_python_script.py")
>>> functionA()
>>> Exception in thread Thread-1:
Traceback (most recent call last):
  File "c:\Program Files\IronPython 2.7.1\Lib\threading.py", line 552, in _Thread__bootstrap_inner
    self.run()
  File "c:\Program Files\IronPython 2.7.1\Lib\threading.py", line 756, in run
    self.function(*self.args, **self.kwargs)
  File "c:\workspace\my_python_script.py", line 6, in blah
    print numpy.array([100,100,0])
MemoryError: Exception of type 'System.InsufficientMemoryException' was thrown.

Answer 1

我认为 numpy 不是线程安全的。我有一个类似的问题，使用带线程的 np.asarray() 会使我的程序崩溃。似乎 numpy 的 array 函数构建数组的方式不是线程安全的。我发现解决这个问题的方法是使用 np.fromiter() 代替。显然，它是线程安全的。它稍微慢一点，这使得如果它不使用线程，但它可以工作。尝试将您的数据放入列表(或其他一些可迭代数据结构)并使用 np.fromiter() 将其转换为 numpy 数组。

此外，如你所知，它实际上在我的计算机上运行良好，所以可能只是你没有足够的内存来处理线程(或者至少在使用 numpy 时没有)。