haskell - 如何在 Haskell 中持久保存大数据以进行高效反序列化

Question

我面临着将大型数据集编译为磁盘表示形式的普遍问题，该表示形式可以有效地反序列化为 native 内存中的 Haskell 数据结构。

更具体地说，我有大量的图形数据，其中包含与边和顶点相关的各种属性。在 C/C++ 中，我已将数据编译为可表示的 mmap() 形式，以实现最大效率，目前生成了约 200MiB 的 C 结构(其文本表示约为 600 MiB)。

我在 (GHC) Haskell 中能做的下一个最好的事情是什么？

Answer 1

使用包binary 。它提供了一个工具箱，可以在 Haskell 中有效地序列化和反序列化数据。 binary 可以自动为您派生所需类型类的实例，但您也可以手动编写优化的实例。

引自原始描述页面:

The binary package

Efficient, pure binary serialisationusing lazy ByteStrings. Haskell valuesmay be encoded to and from binaryformats, written to disk as binary, orsent over the network. Serialisationspeeds of over 1 G/sec have beenobserved, so this library should besuitable for high performancescenarios.