python - 从 3d 数组中提取 2d 面片

Question

scikit-learn 的 extract_patches_2d可用于将 2D 图像 reshape 为补丁集合。 extract_patches是使用 NumPy 的 as_strided 的通用形式。

import numpy as np
from sklearn.feature_extraction import image

ex = np.arange(3 * 3).reshape(3, 3)
image.extract_patches_2d(ex, patch_size=(2, 2))
[[[0 1]
  [3 4]]

 [[1 2]
  [4 5]]

 [[3 4]
  [6 7]]

 [[4 5]
  [7 8]]]

我有一个三维数组a，想从每个“最里面”的二维数组中提取二维补丁，然后找到每个二维补丁的(与轴无关的)平均值。

a = np.arange(2 * 3 * 3).reshape(2, 3, 3)

在这种情况下，我实际上希望首先对每个 (3, 3) 内部数组调用 extract_patches_2d。

patches = np.array([image.extract_patches_2d(i, patch_size=(2, 2)) for i in a])

然后找到每个最里面的二维数组(每个补丁)的平均值:

means = patches.reshape(*patches.shape[:-2], -1).mean(axis=-1)
print(means)
[[  2.   3.   5.   6.]
 [ 11.  12.  14.  15.]]

如何对其进行向量化并摆脱上面的 for 循环？这里重要的是，means 第一个维度的大小等于 a 第一个维度的大小。

Answer 1

您可以使用scikit-image as view_as_windows将这些补丁作为 View 放入输入数组中 -

from skimage.util.shape import view_as_windows

size = 2 # patch size
patches = view_as_windows(a, (1,size,size))[...,0,:,:]

这为我们提供了一个 5D 数组作为 patches，我们可以在该数组上沿最后两个轴使用 mean 缩减来实现 3D 输出 -

out = patches.mean((-2,-1))

如果需要将最终输出作为2D输出，请 reshape 以合并最后两个轴 -

out.reshape(a.shape[0],-1)

这也可以利用 sklearn 的 extract_patches :

def inner_means(arr_3d, patch_size):
    """Axis-agnostic mean of each 2d patch.

    Maintains the first dimension of `arr_3d`.

    patch_size: tuple
        Same syntax as the parameter passed to extract_patches_2d
    """
    shape = (1,) + patch_size
    patches = image.extract_patches(arr_3d, shape)[..., 0, :, :].mean((-2, -1))
    return patches.reshape(*patches.shape[:-2], -1)


a = np.arange(2 * 3 * 3).reshape(2, 3, 3)
    print(inner_means(a, patch_size=(2, 2)))

[[  2.   3.   5.   6.]
 [ 11.  12.  14.  15.]]

<小时/>

或者，为了直接获得 block 状平均值，我们可以使用 Scipy 中的卷积工具之一。所以用 fftconvolve -

from scipy.signal import fftconvolve

out = fftconvolve(a, np.ones((1,size,size)),mode='valid')/size**2

或者使用scipy.signal.convolve或scipy.ndimage.filters.uniform_filter而不进行除法。