python - 如何构建概念搜索引擎？

Question

我想构建一个能够将查询映射到概念的内部搜索引擎(我有数千个 XML 文件的庞大集合)。例如，如果我搜索“大猫”，我希望排名靠前的结果也返回带有“大猫”的文档。但我可能也有兴趣让它返回“巨大的动物”，尽管相关性得分要低得多。

我目前正在通读 Python 中的自然语言处理一书，WordNet 似乎有一些可能有用的词映射，但我不确定如何将其集成到搜索引擎中。我可以使用 Lucene 来做到这一点吗？怎么办？

从进一步的研究来看，“潜在语义分析”似乎与我正在寻找的内容相关，但我不确定如何实现它。

关于如何完成这项工作有什么建议吗？

Answer 1

I'm not sure how to integrate that into a search engine. Could I use Lucene to do this? How?

第 1 步。停止。

第 2 步。让东西发挥作用。

第 3 步。到那时，您将更多地了解 Python 和 Lucene 以及您可能集成它们的其他工具和方式。

不要从尝试解决集成问题开始。软件可以始终集成。这就是操作系统所做的。它集成了软件。有时您想要“更紧密”的集成，但这永远不会首先要解决的问题。

要解决的第一个问题是让您的搜索或概念之物或任何东西作为一个愚蠢的旧命令行应用程序工作。或者通过传递文件或使用 OS 管道或其他东西编织在一起的一对应用程序编织在一起。

稍后，您可以尝试弄清楚如何让用户体验无缝。

但不要从集成开始，也不要因为集成问题而停滞不前。将集成放在一边，开始工作。