python - 使用 numpy 平铺二维数组

Question

我试图通过获取数组的大部分方形 block 并将它们写入另一个数组来减小二维数组的大小。正方形 block 的大小是可变的，假设一侧有 n 个值。数组的数据类型将为整数。我目前在 python 中使用循环将每个 block 分配给一个临时数组，然后从 tmpArray 中提取唯一值。然后我遍历这些并找到出现次数最多的那个。正如您可以想象的那样，随着输入数组大小的增加，这个过程很快就会变得太慢。

我见过从我的方 block 中获取最小值、最大值和平均值的示例，但我不知道如何将它们转换为多数。 Grouping 2D numpy array in average和 resize with averaging or rebin a numpy 2d array

我正在寻找一些方法来加速这个过程，方法是使用 numpy 在整个数组上执行这个过程。 (当输入太大而无法放入内存时切换到数组的平铺部分，我可以处理这方面)

谢谢

#snippet of my code
#pull a tmpArray representing one square chunk of my input array
kernel = sourceDs.GetRasterBand(1).ReadAsArray(int(sourceRow), 
                                    int(sourceCol), 
                                    int(numSourcePerTarget),
                                    int(numSourcePerTarget))
#get a list of the unique values
uniques = np.unique(kernel)
curMajority = -3.40282346639e+038
for val in uniques:
    numOccurances = (array(kernel)==val).sum()
    if numOccurances > curMajority:
        ans = val
        curMajority = numOccurances

#write out our answer
outBand.WriteArray(curMajority, row, col)

#This is insanity!!!

根据 Bago 的出色建议，我认为我正在寻找解决方案。这是我到目前为止所拥有的。我所做的一项更改是使用原始网格形状的 (xy, nn) 数组。我遇到的问题是我似乎无法弄清楚如何将 where、counts 和 uniq_a 步骤从一维转换为二维。

#test data
grid = np.array([[ 37,  1,  4,  4, 6,  6,  7,  7],
                 [ 1,  37,  4,  5, 6,  7,  7,  8],
                 [ 9,  9, 11, 11, 13,  13,  15,  15],
                 [9, 10, 11, 12, 13,  14,  15,  16],
                 [ 17, 17,  19,  19, 21,  11,  23,  23],
                 [ 17, 18,  19,  20, 11,  22,  23,  24],
                 [ 25, 25, 27, 27, 29,  29,  31,  32],
                 [25, 26, 27, 28, 29,  30,  31,  32]])
print grid

n = 4
X, Y = grid.shape
x = X // n
y = Y // n
grid = grid.reshape( (x, n, y, n) )
grid = grid.transpose( [0, 2, 1, 3] )
grid = grid.reshape( (x*y, n*n) )
grid = np.sort(grid)
diff = np.empty((grid.shape[0], grid.shape[1]+1), bool)
diff[:, 0] = True
diff[:, -1] = True
diff[:, 1:-1] = grid[:, 1:] != grid[:, :-1]
where = np.where(diff)

#This is where if falls apart for me as 
#where returns two arrays:
# row indices [0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3]
# col indices [ 0  2  5  6  9 10 13 14 16  0  3  7  8 11 12 15 16  0  3  4  7  8 11 12 15
# 16  0  2  3  4  7  8 11 12 14 16]
#I'm not sure how to get a 
counts = where[:, 1:] - where[:, -1]
argmax = counts[:].argmax()
uniq_a = grid[diff[1:]]
print uniq_a[argmax]

Answer 1

这是一个可以更快找到多数的函数，它基于 numpy.unique 的实现。

def get_majority(a):
    a = a.ravel()
    a = np.sort(a)
    diff = np.empty(len(a)+1, 'bool')
    diff[0] = True
    diff[-1] = True
    diff[1:-1] = a[1:] != a[:-1]
    where = np.where(diff)[0]
    counts = where[1:] - where[:-1]
    argmax = counts.argmax()
    uniq_a = a[diff[1:]]
    return uniq_a[argmax]

如果有帮助，请告诉我。

更新

您可以执行以下操作使您的数组成为(n*n, x, y)，这应该设置您在第一个轴上操作并以矢量化方式完成此操作.

X, Y = a.shape
x = X // n
y = Y // n
a = a.reshape( (x, n, y, n) )
a = a.transpose( [1, 3, 0, 2] )
a = a.reshape( (n*n, x, y) )

只需要记住几件事。即使尽可能 reshape 和转置返回 View ，我相信 reshape -转置- reshape 将被迫复制。也应该可以将上述方法概括为在轴上操作，但可能需要一点创造力。