serialization - 在磁盘上存储一组 protobuf

Question

我正在使用 protobuf 作为序列化程序来格式化磁盘上的数据。我可能有一大组 protobuf 对象，比如说，数百万个。将它们布局在磁盘上的最佳选择是什么？ protobuf 对象将被一个接一个地顺序读取或由外部索引随机访问读取。

我曾经使用 lenghth(int)+protobuf_object+length(int).... 格式，但是如果其中一个 protobuf 恰好是脏的，它就会失败。如果许多 protobuf 对象很小，它可能会有一些开销。

Answer 1

如果您只需要顺序访问，存储多条消息的最简单方法是在它之前写入对象的大小，如文档所推荐:http://developers.google.com/protocol-buffers/docs/techniques#streaming

例如，您可以创建一个具有以下成员函数的“MessagesFile”类来打开、读取和写入您的消息:

// File is opened using append mode and wrapped into
// a FileOutputStream and a CodedOutputStream
bool Open(const std::string& filename,
          int buffer_size = kDefaultBufferSize) {

    file_ = open(filename.c_str(),
                 O_WRONLY | O_APPEND | O_CREAT, // open mode
                 S_IREAD | S_IWRITE | S_IRGRP | S_IROTH | S_ISUID); //file permissions

    if (file_ != -1) {
        file_ostream_ = new FileOutputStream(file_, buffer_size);
        ostream_ = new CodedOutputStream(file_ostream_);
        return true;
    } else {
        return false;
    }
}

// Code for append a new message
bool Serialize(const google::protobuf::Message& message) {
    ostream_->WriteLittleEndian32(message.ByteSize());
    return message.SerializeToCodedStream(ostream_);
}

// Code for reading a message using a FileInputStream
// wrapped into a CodedInputStream 
bool Next(google::protobuf::Message *msg) {
    google::protobuf::uint32 size;
    bool has_next = istream_->ReadLittleEndian32(&size);
    if(!has_next) {
        return false;
    } else {
        CodedInputStream::Limit msgLimit = istream_->PushLimit(size);
        if ( msg->ParseFromCodedStream(istream_) ) {
            istream_->PopLimit(msgLimit);
            return true;
        }
        return false;
    }
}

然后，要编写您的消息，请使用:

MessagesFile file;
reader.Open("your_file.dat");

file.Serialize(your_message1);
file.Serialize(your_message2);
...
// close the file

要阅读您的所有消息:

MessagesFile reader;
reader.Open("your_file.dat");

MyMsg msg;
while( reader.Next(&msg) ) {
    // user your message
}
...
// close the file