c# - 如何序列化一个大集合

Question

我正在使用一个系统，该系统包含包含超过 500 万个项目的列表和字典，其中每个项目通常是一个具有多达 90 个原始属性的平面 dto。使用 protobuf-net 将集合持久保存到磁盘，以实现弹性和后续处理。

不出所料，我们在处理和序列化过程中遇到了 LOH。

我们可以通过使用 ConcurrentBag 等在处理过程中避免 LOH，但我们在序列化时仍然遇到了问题。

目前，集合中的项目以 1000 个为一组进行批处理，并并行序列化到内存流中。每个字节数组都放在并发队列中，稍后写入文件流。

虽然我明白这是要做什么，但它似乎过于复杂。感觉 protobuf 本身应该有一些东西可以在不使用 LOH 的情况下处理大量集合。

我希望我犯了一个小学生错误——我忽略了一些设置。否则，我将寻求编写自定义二进制读取器/写入器。

我应该指出，我们正在使用 4.0，希望尽快迁移到 4.5，但意识到尽管 GC 有所改进，我们仍无法解决这个问题。

感谢任何帮助。

Answer 1

将数据写入磁盘，不使用内存流。

使用 StreamReader 读取，这样您就不必在内存中保留大量数据如果您需要同时加载所有数据以进行处理，则通过将它们存储在临时表中来在 SQL Server 中执行此操作。

内存不是存放大数据的地方。