gpt4 book ai didi

python - 有效地 reshape 这个数组

转载 作者:行者123 更新时间:2023-12-01 07:55:59 33 4
gpt4 key购买 nike

给定这个数组 X:

[1 2 3 2 3 1 4 5 7 1]

和行长度数组R:

[3 2 5]

表示转换后每行的长度。

我正在寻找一个计算效率高的函数来将 X reshape 为数组 Y:

[[ 1.  2.  3. nan nan]
[ 2. 3. nan nan nan]
[ 1. 4. 5. 7. 1.]]
<小时/>

这些只是我正在处理的实际数组的简化版本。我的实际数组更像是这样的:

R = np.random.randint(5, size = 21000)+1
X = np.random.randint(10, size = np.sum(R))

我已经找到了一个函数来生成重构后的数组,但该函数运行速度太慢了。我尝试了一些 Numba 功能来加快速度,但它们会生成许多错误消息来处理。我的超慢功能:

def func1(given_array, row_length):

corresponding_indices = np.cumsum(row_length)



desired_result = np.full([len(row_length),np.amax(row_length)], np.nan)
desired_result[0,:row_length[0]] = given_array[:corresponding_indices[0]]

for i in range(1,len(row_length)):
desired_result[i,:row_length[i]] = given_array[corresponding_indices[i-1]:corresponding_indices[i]]

return desired_result

当 input_arrays 的大小尚未超过 100K 时,该函数每次循环需要花费 34ms 的时间。我正在寻找一个函数,它可以以相同的大小执行相同的操作,但每个循环的时间少于 10 毫秒

提前谢谢

最佳答案

这是一个利用 broadcasting 的矢量化工具-

def func2(given_array, row_length):
given_array = np.asarray(given_array)
row_length = np.asarray(row_length)
mask = row_length[:,None] > np.arange(row_length.max())
out = np.full(mask.shape, np.nan)
out[mask] = given_array
return out

示例运行 -

In [305]: a = [1, 2, 3, 2, 3, 1, 4, 5, 7, 1]
...: b = [3, 2, 5]

In [306]: func2(a,b)
Out[306]:
array([[ 1., 2., 3., nan, nan],
[ 2., 3., nan, nan, nan],
[ 1., 4., 5., 7., 1.]])

大型数据集的计时和验证 -

In [323]: np.random.seed(0)
...: R = np.random.randint(5, size = 21000)+1
...: X = np.random.randint(10, size = np.sum(R))

In [324]: %timeit func1(X,R)
100 loops, best of 3: 17.5 ms per loop

In [325]: %timeit func2(X,R)
1000 loops, best of 3: 657 µs per loop

In [332]: o1 = func1(X,R)

In [333]: o2 = func2(X,R)

In [334]: np.allclose(np.where(np.isnan(o1),0,o1),np.where(np.isnan(o2),0,o2))
Out[334]: True

关于python - 有效地 reshape 这个数组,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55983610/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com