Tensorflow Dataset API 如何排序 list_files？

Question

我正在使用数据集 API list_files 来获取 source 目录和 target 目录中的文件列表，例如:

source_path = '/tmp/data/source/*.ext1'
target_path = '/tmp/data/target/*.ext2'
source_dataset = tf.data.Dataset.list_files(source_path)
target_dataset = tf.data.Dataset.list_files(data_path)
dataset = tf.data.Dataset.zip((source_dataset, target_dataset))

源目录和目标目录内容具有相同的顺序文件名，但扩展名不同(例如，源 0001.ext1 <-> 目标 0001.ext2)。

但由于 list_files 无论如何都没有排序，压缩数据集包含源和目标之间的不匹配。

如何在新的数据集 API 中解决这个问题？

Answer 1

此方法的默认行为是以不确定的随机打乱顺序返回文件名。传递种子或 shuffle=False 以获得确定顺序的结果。

source_dataset = tf.data.Dataset.list_files(source_path, shuffle=False)

或

val = 5
source_dataset = tf.data.Dataset.list_files(source_path, seed = val)
target_dataset = tf.data.Dataset.list_files(data_path, seed = val)