tensorflow - TFRecords 文件的分片需要什么？

Question

为什么在 TensorFlow 的初始模型示例中对 TFRecords 文件进行分片？

为了随机性，不能在创建一个 TFRecord 文件之前打乱文件列表吗？

Answer 1

为什么 TFRecords 文件在 TensorFlow 的初始模型示例中被分片？

根据 object detection API , 对数据集进行分片有两个优点:

1. 可以并行读取文件，提高数据加载速度
2. 可以通过分片更好地混洗示例

您可能已经知道第二个问题中的第二点:

为了随机性，在创建一个 TFRecord 文件之前不能打乱文件列表吗？

在创建记录之前打乱数据集确实是一个很好的做法，因为打乱 TFRecord 只能部分完成。实际上，您只能在内存中加载一定数量的示例。然后通过在内存中随机选择下一个示例来完成改组。你可以在this question中看到更多

但是，如果您仅在创建记录时打乱数据集，您的网络将始终在连续的训练时期中以相同的顺序看到示例。由于一次性给出的随机顺序，这可能会导致不需要的收敛行为。因此，动态打乱数据集以在不同时期具有不同的顺序更有趣。

对数据集进行分片可以简化改组。您可以开始从每个文件中随机选择一点，而不是被迫始终以相同的顺序从同一个文件中读取。