lucene - Lucene 索引的空间限制是什么？

Question

我正在向 Lucene 索引添加数十亿行，每行几乎是 6000 字节。可以添加到 Lucene 索引的最大行数是否有限制？
Lucene 索引上 6000 字节的十亿行将占用多少空间。这个尺寸有限制吗？

Answer 1

请参阅 Lucene 文档以了解其 limitations ，它不能超过

~ 2740 亿个不同的术语，

~ 21 亿个文档。

对于如此大的数据集，通常只使用 Lucene 作为倒排索引是一个好主意，并将文档的实际内容存储在其他地方。您可以预期索引大小约为原始文档语料库大小的 30%(假设这些是常规文档，计算生成的具有许多独特术语的文档会生成更大的索引)。