lucene - 打开存储在 hdfs 中的 lucene 索引

Question

如何读取存储在 HDFS 上的 lucene 索引目录，即如何为存储在 HDFS 上的索引获取 IndexReader。 IndexReader 将在 map task 中打开。

类似于:IndexReader reader = IndexReader.open("hdfs/path/to/index/directory");

谢谢，阿基尔

Answer 1

如果您想打开一个存储在 HDFS 中的 Lucene 索引以进行搜索，那您可就倒霉了。 AFAIK，没有实现允许搜索操作的 HDFS 目录。出现这种情况的原因之一是因为 HDFS 针对大块的顺序读取进行了优化，而不是 Lucene 产生的小的随机读取。

在 Nutch 项目中，有一个 HDFSDirectory 的实现，您可以使用它来创建一个 IndexReader，但只有删除操作有效。 Nutch 仅使用 HDFSDirectory 执行文档去重。