java - 使用 Lucene 索引 NTriples

Question

我的项目的一部分是在 ntriples 中索引 s-p-o，我需要一些帮助来弄清楚如何通过 Java(或其他语言，如果可能的话)来准确地做到这一点。

问题陈述:我们有大约 10 个扩展名为“. ntriple ”。每个文件至少有 10k 三元组。该文件的格式有多个RDF TRIPLEs

<subject1_uri> <predicate1_uri> <object1_uri>
<subject2_uri> <predicate1_uri> <object2_uri>
<subject2_uri> <predicate1_uri> <object3_uri>
            …..
            …..

我需要执行的是，为这些主语、谓语和宾语中的每一个建立索引，以便我们可以快速搜索和检索诸如“给我 predicate1_uri 的所有主语和宾语”等查询。

我尝试使用this例如，但我看到这是在进行全文搜索。这似乎效率不高，因为每个文件可能有 50MB 大。

然后我想到不进行全文搜索，而是将 s-p-o 存储为索引文档，并将每个 (s,p,o) 作为文档字段，另一个字段作为 Id(相应 ntriple 文件中 s-p-o 的偏移量) .

我有两个问题:

1. Lucene 是我想要实现的目标的唯一选择吗？
2. 索引文件本身的大小是否会大于数据本身大小的一半？!

非常感谢任何和所有的帮助。

Answer 1

回答你的第一个问题:不，Lucene 不是执行此操作的唯一选择。您可以(并且可能应该)使用任何通用 RDF 数据库来存储三元组。然后您可以使用 Java API 或使用 SPARQL 查询三元组。 。我个人推荐Apache Jena作为使用 RDF 的 Java API。

如果您需要跨数据集中的文字进行自由文本搜索，可以通过 Jena Text 与 Apache Jena 进行 Lucene 集成.

关于索引大小，这完全取决于数据的熵。如果 NTRIPLE 文件中有 40,000 行，但都是相同三元组的复制，那么索引将相对较小。然而，通常情况下，RDF 数据库会对数据创建多个索引，您会看到大小增加。

此索引的主要好处是您可以提出比“给我 predicate1_uri 的所有主语和宾语”更通用的问题。这个问题可以通过线性处理所有 NTRIPLE 文件来回答，甚至不需要知道您正在使用 RDF。以下类似 SPARQL 的查询显示了由这些数据存储促进的更困难的搜索示例:

SELECT DISTINCT ?owner
WHERE {
  ?owner :owns ?thing
  ?thing rdf:type/rdfs:subClassOf :Automobile
  ?thing :hasColor "red"@en
}

在前面的查询中，只要该物体的颜色是“红色”(如英语中指定)，我们就可以找到汽车或任何更具体的汽车子类别的所有者。