machine-learning - 如何理解SpatialDropout1D以及何时使用它？

Question

有时我会看到某些模型使用 SpatialDropout1D 而不是 Dropout。例如，在词性标记神经网络中，他们使用:

model = Sequential()
model.add(Embedding(s_vocabsize, EMBED_SIZE,
                    input_length=MAX_SEQLEN))
model.add(SpatialDropout1D(0.2)) ##This
model.add(GRU(HIDDEN_SIZE, dropout=0.2, recurrent_dropout=0.2))
model.add(RepeatVector(MAX_SEQLEN))
model.add(GRU(HIDDEN_SIZE, return_sequences=True))
model.add(TimeDistributed(Dense(t_vocabsize)))
model.add(Activation("softmax"))

根据 Keras 的文档，它说:

This version performs the same function as Dropout, however it drops entire 1D feature maps instead of individual elements.

但是，我无法理解entrie 1D feature的含义。更具体地说，我无法在 quora 中解释的同一模型中可视化 SpatialDropout1D 。有人可以使用 quora 中相同的模型来解释这个概念吗？

另外，什么情况下我们会使用SpatialDropout1D而不是Dropout？

Answer 1

为了简单起见，我首先要指出的是，所谓的特征图(1D、2D 等)是我们的常规 channel 。让我们看一下示例:

1. Dropout():让我们定义 2D 输入:[[1, 1, 1], [2, 2, 2]]。 Dropout 会独立考虑每个元素，可能会产生类似 [[1, 0, 1], [0, 2, 2]] 的结果

2. SpatialDropout1D():在这种情况下，结果将类似于 [[1, 0, 1], [2, 0, 2]]。请注意，第二个元素沿所有 channel 归零。