database - 创建巨大倒排索引的方法

Question

我想创建一个大约 10⁶ 项的大倒排索引。你会建议什么方法？我正在考虑快速二进制 key 存储数据库，如 Tokyo Cabinet、voldemort 等。编辑: 我过去曾尝试使用 MySQL 存储两个整数的表来表示倒排索引，但即使第一列有一个数据库索引，查询非常慢。我认为对于那些情况，SQL 数据库有太多的开销、事务开销、查询解析等。我正在寻找哪些技术或算法方法可以扩展，同时具有良好的响应时间和性能。我正在为研究目的推出自己的解决方案。

Answer 1

这个问题有点含糊，所以我想我能给出的唯一答案是:在 PostgreSQL 中使用“广义倒排索引”(GIN index)来创建您想要的任何类型的倒排索引。所有艰苦的工作都为您完成:它使用预写日志来保证崩溃安全，内部使用 btree 结构来提高性能，并且它是成熟的数据库管理系统的一部分。

如果你的问题是全文搜索，那么postgresql的full-text search已经为您构建并且可以在内部使用 GIN。