mxnet - TFRecord 与 RecordIO

Question

TensorFlow 对象检测 API 更喜欢 TFRecord 文件格式。 MXNet 和 Amazon Sagemaker 似乎使用 RecordIO 格式。这两种二进制文件格式有何不同，或者它们是否相同？

Answer 1

RecordIO 和 TFRecord 是相同的，因为它们服务于相同的目的 - 将数据放在一个序列中以加快读取速度，并且它们都在后台使用 Protocol Buffer 以获得更好的空间分配。

在我看来，RecordIO 更像是一个总称:一种用于在一个文件中存储大量数据以加快读取速度的格式。一些产品采用“RecordIO”作为实际术语，但在 Tensorflow 中，他们决定为此使用一个特定的词 - TFRecord。这就是为什么有人称 TFRecord 为“TensorFlow 风格的 RecordIO 格式”。

没有单一的 RecordIO 格式。来自 Apache Mesos 的人，他们也称他们的格式为 RecordIO，say :“由于没有正式的 RecordIO 格式规范，RecordIO 实现之间往往存在轻微的不兼容”。而且他们的 RecordIO 格式与 MXNet 使用的格式不同 - 我没有在每条记录的开头看到“魔数(Magic Number)”。

因此，在结构级别 TFRecord of Tensorflow和 RecordIO of MXNet是不同的文件格式，例如您不希望 MXNet 能够读取 TFRecord，反之亦然。但在逻辑层面上 - 它们具有相同的目的并且可以被认为是相似的。