python - 向量化结果添加到 numpy 数组

Question

我有一个功能是这样的:

def Function(x):
   a = random.random()
   b = random.random()
   c = OtherFunctionThatReturnsAThreeColumnArray()
   results = np.zeros((1,5))
   results[0,0] = a
   results[0,1] = b
   results[0,2] = c[-1,0]
   results[0,3] = c[-1,1]
   results[0,4] = c[-1,2]
   return results

我想做的是多次运行此函数，将返回的一行 5 列结果附加到运行数据集。但是 append 函数和 for 循环都非常低效，据我所知，我都在努力改进我的代码，而且运行次数将足够大，以至于这种低效率对我没有好处任何帮助。

执行以下操作的最佳方法是什么，以使其产生最少的开销:

1. 创建一个新的 numpy 数组来保存结果
2. 将该函数的 N 次调用的结果插入到 1 中的数组中？

Answer 1

你认为 numpy.append 或 numpy.concatenate 如果重复多次会很昂贵(这与 numpy 声明一个新的前两个数组的数组)。

最好的建议(如果您知道总共需要多少空间)是在运行例程之前声明这一点，然后在结果可用时将其放在适当的位置。

如果你要运行这 nrows 次，那么

results = np.zeros([nrows, 5])

然后添加你的结果

def function(x, i, results):
    <.. snip ..>
    results[i,0] = a
    results[i,1] = b
    results[i,2] = c[-1,0]
    results[i,3] = c[-1,1]
    results[0,4] = c[-1,2]

当然，如果您不知道要运行多少次函数，这将不起作用。在这种情况下，我建议采用不太优雅的方法；

1. 声明一个可能较大的 results 数组并添加到 results[i, x] 中(跟踪 i 和结果的大小。

2. 当您达到results 的大小时，然后在新数组上执行numpy.append(或concatenate)。这比重复附加要好，并且不会破坏性能——但您将不得不编写一些包装代码。

您还可以追求其他想法。在我的脑海中，你可以

1. 将结果写入磁盘，这取决于 OtherFunctionThatReturnsAThreeColumnArray 的速度和数据的大小，这可能不是一个太愚蠢的想法。

2. 将结果保存在列表理解中(在运行之后忘记 numpy)。如果函数返回 (a, b, c) 不是结果；

results = [function(x) for x in my_data]

现在进行一些改组，将结果转换为您需要的形式。