python - 卷积层特征图上的特殊函数

Question

简而言之:

如何将特征图从 Keras 中定义的卷积层传递到一个特殊函数(区域提议器)，然后将其传递到其他 Keras 层(例如 Softmax 分类器)？

长:

我正在尝试实现类似 Fast R-CNN 的东西(不是 Keras 中的 Faster R-CNN)。这样做的原因是因为我正在尝试实现自定义架构，如下图所示:

这是上图的代码(不包括候选人输入):

from keras.layers import Input, Dense, Conv2D, ZeroPadding2D, MaxPooling2D, BatchNormalization, concatenate
from keras.activations import relu, sigmoid, linear
from keras.initializers import RandomUniform, Constant, TruncatedNormal, RandomNormal, Zeros

#  Network 1, Layer 1
screenshot = Input(shape=(1280, 1280, 0),
                   dtype='float32',
                   name='screenshot')
conv1 = Conv2D(filters=96,
               kernel_size=11,
               strides=(4, 4),
               activation=relu,
               padding='same')(screenshot)
pooling1 = MaxPooling2D(pool_size=(3, 3),
                        strides=(2, 2),
                        padding='same')(conv1)
normalized1 = BatchNormalization()(pooling1)  # https://stats.stackexchange.com/questions/145768/importance-of-local-response-normalization-in-cnn

# Network 1, Layer 2

conv2 = Conv2D(filters=256,
               kernel_size=5,
               activation=relu,
               padding='same')(normalized1)
normalized2 = BatchNormalization()(conv2)
conv3 = Conv2D(filters=384,
               kernel_size=3,
               activation=relu,
               padding='same',
               kernel_initializer=RandomNormal(stddev=0.01),
               bias_initializer=Constant(value=0.1))(normalized2)

# Network 2, Layer 1

textmaps = Input(shape=(160, 160, 128),
                 dtype='float32',
                 name='textmaps')
txt_conv1 = Conv2D(filters=48,
                   kernel_size=1,
                   activation=relu,
                   padding='same',
                   kernel_initializer=RandomNormal(stddev=0.01),
                   bias_initializer=Constant(value=0.1))(textmaps)

# (Network 1 + Network 2), Layer 1

merged = concatenate([conv3, txt_conv1], axis=-1)
merged_padding = ZeroPadding2D(padding=2, data_format=None)(merged)
merged_conv = Conv2D(filters=96,
                     kernel_size=5,
                     activation=relu, padding='same',
                     kernel_initializer=RandomNormal(stddev=0.01),
                     bias_initializer=Constant(value=0.1))(merged_padding)

如上所示，我尝试构建的网络的最后一步是ROI Pooling，它在 R-CNN 中以这种方式完成:

现在there is a code for ROI Pooling layer in Keras ，但我需要向该层传递区域提案。您可能已经知道，区域建议通常由称为选择性搜索的算法完成，which is already implemented in the Python .

---

问题:

Selective Search 可以轻松地拾取正常图像并为我们提供区域建议，如下所示:

现在问题是，我应该从 merged_conv1 层传递特征图而不是图像，如上面的代码所示:

merged_conv = Conv2D(filters=96,
                     kernel_size=5,
                     activation=relu, padding='same',
                     kernel_initializer=RandomNormal(stddev=0.01),
                     bias_initializer=Constant(value=0.1))(merged_padding)

上面的层只是对形状的引用，所以显然它不适用于选择性搜索:

>>> import selectivesearch
>>> selectivesearch.selective_search(merged_conv, scale=500, sigma=0.9, min_size=10)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/somepath/selectivesearch.py", line 262, in selective_search
    assert im_orig.shape[2] == 3, "3ch image is expected"
AssertionError: 3ch image is expected

我想我应该这样做:

from keras import Model
import numpy as np
import cv2
import selectivesearch
img = cv2.imread('someimage.jpg')
img = img.reshape(-1, 1280, 1280, 3)
textmaps = np.ones(-1, 164, 164, 128)  # Just for example
model = Model(inputs=[screenshot, textmaps], outputs=merged_conv)
model.compile(optimizer='sgd', loss='binary_crossentropy', metrics=['accuracy'])
feature_maps = np.reshape(model.predict([img, textmaps]), (96, 164, 164))
feature_map_1 = feature_maps[0][0]
img_lbl, regions = selectivesearch.selective_search(feature_map_1, scale=500, sigma=0.9, min_size=10)

但是如果我想添加接受“区域”变量的 softmax 分类器怎么办？ (顺便说一句，我知道除了 channel 3 的输入之外，选择性搜索几乎没有什么问题，但这与问题无关)

问题:

Region proposal(使用选择性搜索)是神经网络的重要组成部分，我如何修改它以便它从卷积层 merged_conv 获取特征图(激活)？

也许我应该创建自己的 Keras 层？

Answer 1

据我所知，selective-search 获取输入并返回 n 个不同 (H,W) 的补丁。所以在你的情况下，feature-map 是 dims (164,164,96)，你可以假设 (164,164) 作为选择性输入搜索，它将为您提供 n 个补丁，exp 为 (H1,W1), (H2,W2),...。所以你现在可以将所有 channel 按原样附加到那个补丁，所以它变成了 dims (H1,W1,96),(H2,W2,96),.. ...

注意:但是这样做也有缺点。 Selective-Search 算法使用的策略是在网格中打断图像，然后根据对象的热图重新加入这些补丁。您将无法在特征图上执行此操作。但是你可以在上面使用随机搜索方法，它会很有用。