ruby-on-rails - 这是在使用 dbpedia 和 SPARQL 的 Rails 应用程序中实现搜索功能的好方法吗？有一个更好的方法吗？

Question

我正在尝试使用 Ruby on Rails 3 组合一个“电影搜索”应用程序。我正在使用 SPARQL(RDF 和 sparql/client)从 dbpedia 中提取数据。我希望潜在用户能够搜索电影、查看结果，然后单击以查看我为该电影生成的包含更多信息(来自 dbpedia 和我自己的本地数据库)的页面。

这是我第一次使用庞大的数据集和 SPARQL，我注意到它非常慢，我想这也无济于事。不过，我仍然非常想将它用作数据源。

我的 Rails 应用程序设置为使用 MongoDB，所以我想我可以利用它来缓存一些 DBPedia 数据，这样用户就不需要每次都等待查询。但是，我坚持使用实现此类功能的最佳方法。我目前的想法是这样的:

在第一次搜索时，我将每个结果的详细信息存储在我的本地数据库中(可能是基本的电影信息，例如标题、概述、年份、备用标题)

当用户进行搜索时，会发生以下情况:

1. 在我的本地数据库上运行搜索查询以获取相关的存储电影(很可能只搜索标题和概述)。如果电影在过去 X 天内没有从 dbpedia 更新，我不会收录它。
2. 快速向用户显示那些相关的本地结果并列出这些电影。
3. 当用户查看存储的结果时，会查询 dbpedia。根据这个查询结果，我创建了一个来自 DBpedia 的相关结果列表。
4. 我从 dbpedia 查询结果集中删除了已在初始本地结果集中的所有电影，以防止用户看到重复的结果。
5. 我在本地结果下方显示剩余的 dbpedia 查询结果，并将每个新的未存储结果保存在我的本地数据库中(包括 last_updated 时间，并根据需要更新任何现有的本地项目)。
6. 当用户点击进入电影页面时，来自 dbpedia 的基本信息和我存储的额外信息已经存储在本地，可以在页面上快速拉出，但更高级的信息(导演、语言、位置、链接到相关站点)在加载时从 dbpedia 查询。当检索到新信息时，我会在不同部分显示加载对话框等。

我正在考虑做类似上面的事情，这样用户可以快速看到一些结果，同时剩余的结果从 dbpedia 加载，我存储了一些东西但不是疯狂的数量。

但我想就这是否现实以及这是否是一个好主意获得一些帮助。我可以想象，首先搜索我的本地数据库可能会使用户的初始结果偏向之前搜索过的内容，并且如果他们特别想要的电影(例如，如果他们输入标题)在它可能进一步显示之前没有被搜索在列表中。只在本地存储相关数据集(即所有电影)的副本并根据需要更新它是否更有意义？那会太多了，对吧？

无论如何，我真的很感激一些建议，这些建议可以让用户尽可能无缝地使用，同时仍然保持在理智的范围内。提前致谢!

编辑:这是我目前正在使用的测试搜索查询的代码。我以为我正在使它成为测试的 super super 基础......但它超时了很多。

query = "
    PREFIX owl: <http://www.w3.org/2002/07/owl#>
    PREFIX xsd: <http://www.w3.org/2001/XMLSchema#>
    PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
    PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
    PREFIX foaf: <http://xmlns.com/foaf/0.1/>
    PREFIX dc: <http://purl.org/dc/elements/1.1/>
    PREFIX : <http://dbpedia.org/resource/>
    PREFIX dbpedia2: <http://dbpedia.org/property/>
    PREFIX dbpedia: <http://dbpedia.org/>
    PREFIX skos: <http://www.w3.org/2004/02/skos/core#>
    PREFIX dbo: <http://dbpedia.org/ontology/>

    SELECT ?subject ?label ?abstract ?runtime ?date ?name WHERE {
    {?subject rdf:type <http://dbpedia.org/ontology/Film>}
    UNION
    {?subject rdf:type <http://dbpedia.org/ontology/TelevisionShow>}.
    OPTIONAL {?subject dbo:runtime ?runtime}.
    OPTIONAL {?subject dbo:releaseDate ?date}.
    OPTIONAL {?subject foaf:name ?name}.
    ?subject rdfs:comment ?abstract.
    ?subject rdfs:label ?label.
    FILTER((lang(?abstract) = 'en') && (lang(?label) = 'en') && REGEX(?label, '" + str + "')).

    }
    LIMIT 30
"
 result = {}
 client = SPARQL::Client.new("http://dbpedia.org/sparql")
 result = client.query(query).each_binding  { |name, value| puts value.inspect }
 return result

Answer 1

您用来查询 dbpeid 的 SPARQL 查询是什么？。应该可以优化它以提高性能。您还应该能够使用类别 URI 进行过滤。此外，您应该能够使用 OFFSET 和 LIMIT 预测来减少结果的数量。如果您正在使用全文搜索，那么您也可以考虑使用 Virtuoso Specific 'bif:contains' 属性，因为它比正则表达式过滤器要快一些，但有非标准/Virtuoso 特定的缺点。此外，您还可以使用 HTTP 缓存来改进后续搜索结果(不出所料，SPARQL 协议(protocol)在 HTTP 上运行)。

除此之外，您可以尝试简单地使用您自己的三元存储，并每晚将来自 dbpedia 的电影加载到其中，而不是将内容放入 mongo db。

根据提供的查询进行编辑

只要通过反复试验就可以了，以下模式会导致大问题:

    ?subject rdfs:comment ?abstract.
    ?subject rdfs:label ?label.
    FILTER((lang(?abstract) = 'en') && (lang(?label) = 'en') && REGEX(?label, '" + str + "')).

过滤器可能很慢，但即使没有过滤器，查询也会超时。我会更关心 OPTIONAL 子句(OPTIONAL 可能很慢)。试试吧。您可能需要对摘要和标签运行单独的查询。