web-crawler - Kentico 10 使用的网络爬虫引擎

Question

根据文档 Configuring Page Crawler Indexes 是否有有关 Kentico 10 使用的网络爬虫技术/引擎的更多信息？

我问这个问题的原因是因为我想考虑将其用于可以位于 Kentico 之外的自定义爬虫项目，并且仍然允许它与 Kentico 平台具有固有的兼容性。

Answer 1

据我从 Kentico 10 源代码来看，Kentico SmartSearch 使用的爬虫是完全专有的。它没有使用任何第三方库。

它使用System.Web.HttpWebRequest下载页面内容。完整内容以字符串形式反馈到 SmartSearch 索引器中。之后，它会进行文本提取并馈送到 Lucene 进行索引。

让 Kentico SmartSearch 使用外部爬虫并不容易。我们通常远离爬虫，因为与直接从数据库提取数据的标准索引相比，它的执行成本相当高。

Kentico 支持executing some scheduled tasks in a Windows service但不是搜索任务。

请注意，Kentico SmartSearch 实际上并不通过发现链接来抓取网站。它使用内容树来确定需要索引的内容。如果您想对其他内容(例如来自您集成的系统的内容)建立索引，则需要实现自定义搜索服务，如here所述。 .

可行的一件事是让外部进程抓取您想要索引的任何内容并将原始 HTML 内容放入存储中。然后编写一个自定义 SmartSearch 索引，从存储中提取数据以便在 Kentico 中建立索引。如果您正在对 Kentico 管理的内容建立索引，则可以通过 Hook 文档事件将其提升到一个新的水平。这样您就可以仅在页面更新时对其进行抓取。