python - 如何在Python中有效地扩展数组？

Question

我的问题是如何通过多次复制自身来有效地扩展数组。我试图通过复制每个样本 N 次来将我的调查样本扩展到完整大小的数据集。 N为对样本进行签名的影响因子。所以我写了两个循环来完成这个任务(脚本粘贴在下面)。它有效，但速度很慢。我的样本量是20,000，并尝试将其扩展到300万全尺寸..有什么功能我可以尝试吗？感谢您的帮助!

----我的脚本----

lines = np.asarray(person.read().split('\n'))
df_array = np.asarray(lines[0].split(' '))
for j in range(1,len(lines)-1):
    subarray = np.asarray(lines[j].split(' '))
    factor = int(round(float(subarray[-1]),0))
    for i in range(1,factor):
        df_array = np.vstack((df_array, subarray))
print len(df_array)

Answer 1

首先，您可以尝试使用 numpy.loadtxt 一起加载数据。 .

然后，要根据最后一列重复，请使用 numpy.repeat :

>>> data = np.array([[1, 2, 3],
...                  [4, 5, 6]])
>>> np.repeat(data, data[:,-1], axis=0)
array([[1, 2, 3],
       [1, 2, 3],
       [1, 2, 3],
       [4, 5, 6],
       [4, 5, 6],
       [4, 5, 6],
       [4, 5, 6],
       [4, 5, 6],
       [4, 5, 6]])

最后，如果需要四舍五入data[:,-1] ，将其替换为 np.round(data[:,-1]).astype(int) .