python - numpy.copy 数组的内存问题

Question

我有一个大的 numpy 数组 my_array，我将其复制到另一个临时数组 temp_my_array 中，以便在循环内的计算中使用它，如下所示:

my_array = [10.1, 20.3, ..., 11.2] # a large numpy array
temp_my_array = np.copy(my_array)

for i in range(200000):
     for item in np.where(my_array> 5): 
           temp_my_array[item] = f(my_array[some other items]) 
     my_array = np.copy(temp_my_array)

当 my_array 太大时，np.copy 出现内存错误。此外，分析显示 np.copy 是我的代码中最慢的部分。请问有什么想法吗？

Answer 1

我建议您只复制实际更改的值。对于您的代码来说，这只是一个微小的变化:

my_array = [10.1, 20.3, ..., 11.2] # a large numpy array
temp_my_array = np.copy(my_array)

for i in range(200000):
    inds = np.where(my_array > 5)
    for item in inds: 
        temp_my_array[item] = f(my_array[some other items]) 
    my_array[inds] = temp_my_array[inds]

否则，您可以对函数进行矢量化，但如果[一些其他项目]依赖于您当前的索引，这可能会很烦人，或者如果它依赖于先前的my_array结果，则不可能.