deserialization - protobuf-net 的大文件反序列化

Question

我需要反序列化 1.5GB txt 文件。我正在使用 code.google.com/p/protobuf-net/中的 protobuf-net

有时它会因不同地方的不同异常(空引用、内存访问冲突)而失败(大约 50% 的情况)。我注意到，如果处理器负载低，那么失败的可能性就会降低。

我应该怎么做才能避免此类失败？

这是反序列化代码的示例:

public static History LoadFromFile(string path)
    {
        using (var fileStream = File.OpenRead(path))
        {
            var obj = Serializer.Deserialize<History>(fileStream);                
            return obj;
        }
    }

今天我有一个 FatalExecutionEngineError 错误代码为 0xc0000005，但我无法意识到代码的哪一部分可能不安全。这不是一个持续的错误，在我重新启动应用程序后一切正常。

这是带有序列化的文件示例，我需要对其进行反序列化:
https://docs.google.com/file/d/0B1XaGInC6jg3ZXBZZDA3bHh3bVk/edit

Answer 1

谷歌 :

Protocol Buffers are not designed to handle large messages. As a general rule of thumb, if you are dealing in messages larger than a megabyte each, it may be time to consider an alternate strategy. That said, Protocol Buffers are great for handling individual messages within a large data set.

Source link