erlang - 当数据不适合内存时，适合 Erlang 应用程序的数据存储后端

Question

我正在研究如何为 Erlang 应用程序组织数据存储的可能选项。它应该使用的数据基本上是由短字符串 id 索引的大量二进制 blob 集合。每个 blob 都在 10 Kb 以下，但有很多。我希望它们总共有 200 Gb 的大小，所以显然它不能放入内存中。对该数据的典型操作是通过其 id 读取 blob 或通过其 id 更新 blob 或添加新 blob。在一天中的每个给定时间段，只有一部分 id 被使​​用，因此数据存储访问性能可能会从内存缓存中受益。说到性能 - 这是非常关键的。目标是在商用硬件(例如在 EC2 VM 上)每秒进行大约 500 次读取和 500 次更新。

有什么建议在这里使用吗？据我所知，dets 是不可能的，因为它仅限于 2G(或者是 4G？)。 Mnesia 可能也没有问题；我的印象是它主要是为数据适合内存的情况设计的。我正在考虑尝试使用 EDTK 的 Berkeley DB 驱动程序来完成这项任务。它会在上述情况下工作吗？有没有人在类似条件下在生产中使用它的经验？

Answer 1

tcerl出来面对相同的大小限制。这些天我没有使用 Erlang，但这听起来像你正在寻找的。