lucene - 推荐使用 Lucene 或 Solr 的爬虫工具？

Question

就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the help center为指导。




8年前关闭。




什么是用于对抗 HTML 和 XML 文档(本地或基于 Web)并且在 Lucene/Solr 解决方案空间中运行良好的良好爬虫(蜘蛛)？可以是基于 Java 的，但不是必须的。

Answer 1

在我看来，这是一个非常重要的漏洞，它阻碍了 Solr 的广泛采用。新的 DataImportHandler 是导入结构化数据的良好开端，但没有用于 Solr 的良好文档摄取管道。 Nutch 确实有效，但 Nutch 爬虫和 Solr 之间的集成有些笨拙。
我已经尝试了我能找到的所有开源爬虫，但没有一个与 Solr 集成开箱即用。
密切关注 OpenPipeline 和 Apache Tika。