tensorflow - 如何修复 tensorflow 截断的 tfrecords？

Question

我创建了一个大的 .tfrecords 文件，但没有看到任何错误。但是，在训练期间，当 TfRecordReader 到达 .tfrecord 文件末尾附近的某个位置时，我看到了错误“在 XXXX 截断了记录”。如何快速检查 .tfrecord 文件是否真的损坏？如果是这样，我该如何快速修复文件(可以丢弃最后几个键值对)？

Answer 1

该消息的意思就是它所说的 --- TFRecord 文件似乎在记录中意外结束。

如果您想了解幕后发生的事情，文件格式非常简单，并记录在此处:https://www.tensorflow.org/versions/r0.11/api_docs/python/python_io.html#tfrecords-format-details

快速检查一件事:您正在阅读的文件真的是 TFRecord 文件吗？有把握总是好的。

很难就 TFRecord 文件的“损坏程度”给出一个好的答案——所有阅读器代码可以做的就是告诉您某些内部不一致。

(您的写入过程是否正确终止并在完成后关闭文件？)

如果您想修复该文件，最好的办法可能是重新生成它。

或者，您可以使用上面链接中记录的阅读器功能读入文件的内容，并将它们写出到一个新的 TFRecord 文件中。您将丢失损坏的记录，但您应该能够复制其他所有内容。