python - Keras: reshape 以连接 lstm 和 conv

Question

这个问题也作为 github issue 存在。我想在 Keras 中构建一个包含二维卷积和 LSTM 层的神经网络。

网络应该对 MNIST 进行分类。MNIST中的训练数据是60000张手写数字0到9的灰度图像。每张图像为28x28像素。

我已将图像分成四个部分(左/右、上/下)并按四个顺序重新排列它们以获得 LSTM 的序列。

|     |      |1 | 2|
|image|  ->  -------   -> 4 sequences: |1|2|3|4|,  |4|3|2|1|, |1|3|2|4|, |4|2|3|1|
|     |      |3 | 4|

其中一个小子图像的尺寸为 14 x 14。四个序列沿宽度堆叠在一起(宽度或高度无关紧要)。

这将创建一个形状为 [60000, 4, 1, 56, 14] 的向量，其中:

• 60000是样本数
• 4 是序列中元素的数量(# of timesteps)
• 1 是颜色的深度(灰度)
• 56和14是宽和高

现在应该将其提供给 Keras 模型。问题是改变 CNN 和 LSTM 之间的输入维度。网上搜了一下，发现了这个问题:Python keras how to change the size of input after convolution layer into lstm layer

解决方案似乎是一个 Reshape 层，它使图像变平但保留时间步长(与 Flatten 层相反，它会折叠 batch_size 以外的所有内容)。

到目前为止，这是我的代码:

nb_filters=32
kernel_size=(3,3)
pool_size=(2,2)
nb_classes=10
batch_size=64

model=Sequential()

model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1],
    border_mode="valid", input_shape=[1,56,14]))
model.add(Activation("relu"))
model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1]))
model.add(Activation("relu"))
model.add(MaxPooling2D(pool_size=pool_size))


model.add(Reshape((56*14,)))
model.add(Dropout(0.25))
model.add(LSTM(5))
model.add(Dense(50))
model.add(Dense(nb_classes))
model.add(Activation("softmax"))

此代码会产生一条错误消息:

ValueError: total size of new array must be unchanged

显然 Reshape 层的输入不正确。作为替代方案，我也尝试将时间步长传递给 Reshape 层:

model.add(Reshape((4,56*14)))

这感觉不对，无论如何，错误保持不变。

我这样做的方式正确吗？Reshape 层是连接 CNN 和 LSTM 的合适工具吗？

解决这个问题的方法相当复杂。像这样: https://github.com/fchollet/keras/pull/1456一个 TimeDistributed 层，它似乎对后续层隐藏了时间步维度。

或者这个:https://github.com/anayebi/keras-extra一组用于组合 CNN 和 LSTM 的特殊层。

如果简单的 Reshape 就可以解决问题，为什么会有如此复杂(至少它们对我来说看起来很复杂)的解决方案？

更新:

令人尴尬的是，我忘记了尺寸也会被池化和(由于缺少填充)卷积改变。 kgrm 建议我使用 model.summary() 检查维度。

Reshape层之前的层的输出是(None, 32, 26, 5)，我将 reshape 更改为:model.add(Reshape((32*26*5,)))。

现在 ValueError 消失了，取而代之的是 LSTM 提示:

Exception: Input 0 is incompatible with layer lstm_5: expected ndim=3, found ndim=2

看来我需要通过整个网络传递时间步维度。我怎样才能做到这一点 ？如果我将它添加到卷积的 input_shape，它也会提示:Convolution2D(nb_filters, kernel_size[0], kernel_size[1], border_mode="valid", input_shape=[4, 1, 56,14] )

Exception: Input 0 is incompatible with layer convolution2d_44: expected ndim=4, found ndim=5

Answer 1

根据 Convolution2D定义您的输入必须是具有维度 (samples, channels, rows, cols) 的 4 维。这是您收到错误的直接原因。

要解决这个问题，您必须使用 TimeDistributed wrapper 。这使您可以跨时间使用静态(非循环)层。