java - 使用 Lucene 建立索引时内存不足

Question

我正在使用 Lucene 4.9.0 索引 23k 个文件，但现在我收到 java.lang.OutOfMemoryError: Java heap space 消息。我不想增加“堆大小”，因为文件数量每天都会增加。如何索引所有文件而不出现 OOM 问题并增加“堆空间”？

Answer 1

你的问题太模糊了，没有什么意义。

首先，23K文件可以是1字节/每个，也可以是1G/每个。我们如何知道里面有什么以及它们有多重？

其次，你说

I don't want to increase "heap size" because <...>

在你说完之后就立即

How can I index all files without the OOM problem and increase "heap space"

你能决定是否增加堆空间吗？

索引数据需要一定量的内存，但您对此无能为力。也就是说，需要最多的内存是在合并过程中，您可以 play with the merge factor看看这是否对您有帮助。