tensorflow - LSTM 或任何其他层的 TimeDistributed 包装器有什么用途

Question

我试图了解 TimeDistributed 层在 keras/tensorflow 中的使用。我已经阅读了一些主题和文章，但仍然没有正确理解。

让我对 TImeDistributed 层的作用有一些了解的线程是 -

What is the role of TimeDistributed layer in Keras?

TimeDistributed(Dense) vs Dense in Keras - Same number of parameters

但是我还是不知道为什么要使用这个图层!

例如，以下代码将提供相同的输出(&output_shape):

model = Sequential()
model.add(TimeDistributed(LSTM(5, input_shape = (10, 20), return_sequences = True)))
print(model.output_shape)

model = Sequential()
model.add(LSTM(5, input_shape = (10, 20), return_sequences = True))
print(model.output_shape)

输出形状将是(据我所知)-

(None, 10, 5)

那么，如果两个模型提供相同的输出，那么 TimeDistributed Layer 的实际用途是什么？

我还有一个问题。 TimeDistributed 层将时间相关数据应用到单独的层(共享相同的权重)。那么，它与 keras API 中提供的展开 LSTM 层有何不同:

unroll: Boolean (default False). If True, the network will be unrolled, else a symbolic loop will be used. Unrolling can speed-up a RNN, although it tends to be more memory-intensive. Unrolling is only suitable for short sequences.

这两者有什么区别？

谢谢..我还是个新手，所以有很多问题。

Answer 1

正如 Keras 文档所暗示的那样，TimeDistributed 是一个包装器，它将一个层应用于输入的每个时间切片。

这是一个可能有帮助的示例:

假设您有猫的视频样本，您的任务是一个简单的视频分类问题，如果猫没有移动，则返回 0；如果猫在移动，则返回 1。假设您的输入暗淡为 (None, 50, 25, 25, 3)，这意味着每个样本有 50 个时间步长或帧，并且您的帧为 25 x 25 并且有 3 个 channel ，rgb。

嗯，一种解决办法是使用 CNN(例如 Conv2D)从每一帧中提取一些“特征”，然后将它们传递到 LSTM 层。但每一帧的特征提取都是相同的。现在 TimeDistributed 来救援了。您可以用它包装 Conv2D，然后将输出传递到同样由 TimeDistributed 包装的 Flatten 层。因此，在应用 TimeDistributed(Conv2D(...)) 后，输出将是暗淡的，如 (None, 50, 5, 5, 16)，而在 TimeDistributed(Flatten()) 之后，输出将是暗淡的 (None 、 50、 400)。 (实际的暗淡取决于 Conv2D 参数。)

该层的输出现在可以通过 LSTM。

很明显，LSTM 本身不需要 TimeDistributed 包装器。