python - keras 中用于视频的 tensorflow 后端

Question

我正在使用带有tensorflow后端的keras，我的数据是视频。

所以现在我遇到了数据维度的问题，我知道第一个 channel 用于theano，最后一个 channel 用于tf。我在放置帧数的位置时遇到问题。

1. 这是真的吗？ (样本数、帧数、img_rows、img_cols、 channel ) - 例如:(390,25,48,48,1)

2. 这是真的吗？ (样本数、img_rows、img_cols、 channel 、帧数) --例如这样:(360,48,48,1,25)

对于视频数据具有 tf 后端的 keras，哪一项是正确的？ 1 或 2？
非常感谢

Answer 1

Keras 本身将其数据格式定义为 channels_last 。无需担心您使用的是 theano 还是 TensorFlow。 (您可以在卷积层或文件 <user>\.keras\keras.json 的默认设置中更改此设置)

但这主要对图像和其他卷积层有效:(img_row,img_cols,channels)

据我所知，视频没有预定义的格式。

• 当您使用循环层时，您将有 (batchSize,timeSteps,featuresPerStep)
• 使用 2D 卷积时:(batchSize, rows, columns, channels)
• 使用一维卷积时:(batchSize, length, channels)

可以使用名为 TimeDistributed 的层包装器，这将允许非循环层接收带有附加 timeSteps 的输入批量尺寸之后的尺寸:(batchSize,timeSteps, ...other dimensions....) -- 它将为每个时间步复制包裹层。

因此，具有时间分布式包装器的 2D 卷积层将输入为:(batchSize,timeSteps,rows,columns,channels)