ffmpeg - tfds.features.Video 在 tensorflow 2 中用于视频解码的用法

Question

我正在尝试使用 tfds.features.Video 在 tensorflow 2 中解码视频，以便使用以下代码输出“tf.Tensor of type tf.uint8 and shape [num_frames, height, width, channels]” :

import numpy as np
import pandas as pd
import tensorflow as tf
import tensorflow_datasets as tfds
df_trains= pd.DataFrame()
df_trains['video_files']= ['aa.mp4']

files_ds = tf.data.Dataset.from_tensor_slices(df_trains.video_files)

video_class = tfds.features.Video(shape=(None, 1080, 1920,3), encoding_format='png', ffmpeg_extra_args=())

a= video_class.decode_example(files_ds)

但是它会产生以下错误:“AssertionError: Feature Video can only decoded when defined as top-level feature, through info.features.decode_example()”

我无法解决，请在这方面提供帮助。

Answer 1

您不能那样使用 tfds.features.Video。 tfds.features.Video 通常与 tfds.builder 或 tfds.load 一起使用。

所以当你使用tfds_download_dataset时，你感觉很舒服，但很难使用自定义数据集。

features = tfds.features.FeaturesDict({
    'video': tfds.features.Video(shape=(None, 1080, 1920,3)),
})
tfds.load(..., decoders=features, ...)

但是 tfds.features.Video 可以通过制作包含您的数据的 my_dataset 来使用。

但是，这很烦人。所以 cv2 比那更好。