python - 如何在 Python 中将 3 维数组(在本例中为滤波器组)与 2 维图像(单色)进行卷积？

Question

我有一个函数定义，它接收单色和二维的图像，以及一个 3 维数组(48 个 2D 滤波器)的滤波器组。我需要对两者进行卷积以找到每个像素位置的特征向量。我怎么做？
我试过scipy.ndimage.convolve()但得到错误“过滤器权重数组的形状不正确。”

Answer 1

为简单起见，只需遍历滤波器组的时间维度，然后将卷积应用于图像和滤波器组中的每个滤波器。之后，将结果堆叠到 3D 矩阵中。这实际上是我为了可读性所做的。
假设您的图像存储在 img并且您的过滤器存储在 filters . img大小为 M x N并且您的过滤器大小为 R x C x D与 D是您拥有的过滤器总数。
正如你逃避使用 scipy.ndimage.convolve ，我们可以使用它。但是，可以使用 cv2.filter2D 也。我将向您展示如何使用这两种方法。
方法 #1 - 使用 scipy.ndimage.convolve

import scipy.ndimage
import numpy as np

outputs = []
D = filters.shape[2]
for i in range(D):
    filt = filters[...,i]
    out = scipy.ndimage.convolve(img, filt)
    outputs.append(out)

outputs = np.dstack(outputs)

以上是直截了当的。创建一个空列表来存储我们的卷积结果，然后提取我们拥有的过滤器总数。之后，我们遍历每个过滤器，将图像与所述过滤器进行卷积并将其附加到列表中。然后我们使用 numpy.dstack 将所有 2D 响应叠加到 3D 矩阵中。
方法 #2 - 使用 cv2.filter2D

import cv2
import numpy as np

outputs = []
D = filters.shape[2]
for i in range(D):
    filt = filters[...,i]
    filt = filt[::-1, ::-1]
    out = cv2.filter2D(img, -1, filt)
    outputs.append(out)

outputs = np.dstack(outputs)

除了调用 cv2.filter2D 之外，这与方法 #1 完全相同。反而。另请注意，我必须将内核旋转 180 度为 cv2.filter2D执行 相关 而不是卷积。使用 cv2.filter2D 执行卷积，您需要在运行该方法之前先轮换内核。注意 cv2.filter2D 的第二个参数是结果的输出数据类型。我们将其设置为 -1说它将是任何输入数据类型。

索引注意事项
如果您想避免一起索引到您的过滤器库，让 for循环为您执行此操作，您可以移动 channel ，以便过滤器的数量是第一个 channel 。然后，您可以通过列表推导构造生成的 3D 输出矩阵:

filters = filters.transpose((2, 0, 1))
outputs = np.dstack([scipy.ndimage.convolve(img, filt) for filt in filters])