c - 在 HDD 上存储大哈希

Question

我正在尝试在硬盘驱动器上存储一个大小约为 80Gb 的简单大型哈希表(64 位键，64 位值)。如果我想获得最佳性能，最有效的方法是什么？

要查找的键是完全随机的，我必须每 10 毫秒查找一次？是否有作为 C/Linux 库的抽象可用，它可以将 key 映射/散列到 HDD 的逻辑 block 地址，以便访问速度更快？

请给出一些指导方针。

Answer 1

您可以使用内存映射文件 (mmap)，然后以每次查找只读取一页的方式排列数据。这可以通过对文件中的所有键进行排序，然后在内存中使用一个索引来保存每个页面的第一个键来完成。