gpt4 book ai didi

java - 减少 Lucene 文档索引的内存使用量

转载 作者:行者123 更新时间:2023-12-01 15:52:32 31 4
gpt4 key购买 nike

现在,我在 lucene 中的文档在一个字段中可以具有非常非常大的值(从 0 到数百 MB)。

我使用 Lucene 3.1.0,我创建这样的文档:

doc = new Document();
Field field = new Field(fieldname, VERYLARGEVALUE, store, tokenize, storevector);
doc.add(field);

其中 VERYLARGEVALUE 是内存中的字符串。我在想,也许在创建文件时将 VERYLARGEVALUE 写入文件(它是通过从多个源中提取文本来创建的,因此它是增量的),然后使用:

Field field = Field(String name, Reader reader, Field.TermVector termVector); 
doc.add(field);

读者从我写入 VERYLARGEVALUE 的文件中读取的位置。

这会减少内存需求,还是 VERYLARGEVALUE 最终迟早会被读取到内存中?

最佳答案

java.io.Reader 实现旨在通过将流的一部分读入内存来有效地读取字符流。 (请参阅 read(char[] cbuf) API。)所以我会说"is",使用 Reader 会减少内存开销

关于java - 减少 Lucene 文档索引的内存使用量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5728234/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com