python - 如何在 LSTM 中设置 Target 以进行视频分类

Question

请参阅以下用于创建 LSTM 网络的代码:

NumberofClasses=8
model = Sequential()
model.add(LSTM(256,dropout=0.2,input_shape=(32,
                 512),return_sequences=False))
model.add(Dense(1024, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(NumberofClasses, activation='softmax'))
print(model.summary())
sgd = SGD(lr=0.00005, decay = 1e-6, momentum=0.9, nesterov=True)
model.compile(optimizer=sgd, loss='categorical_crossentropy', metrics= 
['accuracy'])

callbacks = [EarlyStopping(monitor='val_loss', patience=10, verbose=1), 
ModelCheckpoint('video_1_LSTM_1_1024.h5', monitor='val_loss', 
save_best_only=True, verbose=1 ) ]
nb_epoch = 500
model.fit(train_data,train_labels,validation_data,validation_labels,batch_size,nb_epoch,callbacks,shuffle=False,verbose=1)

在上面的代码中，我使用 python 的 Keras 库创建一个 LSTM，我的数据有属于 8 个不同类别的 131 个视频样本。我为每个视频设置了 32 帧的帧序列(因此每个视频有 32 帧，因此 131 个视频生成 4192 帧)我从 VGG16 的预训练模型中为每个帧提取了特征。我通过将每个提取的特征添加到数组中来创建训练数据集。它生成了最终的 4192,512 维数组。相应的 train_labels 为八个类中的每一类保存一个热编码，并且维度为 4192,8。然而，由于 LSTM 需要(样本、时间戳和特征)格式的输入形状，并且我的例子中的每个视频都有 32 帧的序列，因此我将训练数据重新整形为 [131,32,512] 并应用相同的整形到 train_labels。但是，当我运行此命令时，出现以下错误:

 ValueError: Error when checking target: expected dense_2 to have 2 dimensions, but got 
 array with shape (131, 32, 8)

如果我不 reshape train_labels 并将其保留为 (4192,8) ，则错误为:

 ValueError: Input arrays should have the same number of samples as target 
 arrays. Found 131 input samples and 4192 target samples.

请注意，由于我的每个视频都有 32 帧序列长度，因此我应用此 reshape [131,32,512] 来训练数据，并将 (131, 32, 8) 应用于相应的标签。如果有任何意见或建议来解决这个问题，我将不胜感激

Answer 1

在视频分类中，整个视频通常只有一个标签，这意味着在您的情况下，标签的形状应为 (131, 8)。

如果标签为 (131, 32, 8)，这意味着您有 131 个样本，每个样本有 32 个时间步长，每个时间步长有 8 个类，因此在这种情况下有一个每个时间步的标签，这不是视频分类。模型可以做到这一点，但您需要对 LSTM 进行一些更改才能使其发挥作用。

如果您想对每个时间步进行分类，那么您应该在 LSTM 中使用 return_sequences=True，例如:

model = Sequential()
model.add(LSTM(256,dropout=0.2,input_shape=(32,
                 512),return_sequences=True))
model.add(Dense(1024, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(NumberofClasses, activation='softmax'))

您可以使用 model.summary() 检查模型的输出形状如何变化