open-source - 是否有任何可用于搜索 Deep Web 的开源库？

Question

关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。












想改进这个问题？将问题更新为 on-topic对于堆栈溢出。

5年前关闭。




Improve this question




有没有开源库可以用来搜索Deep Web ?

Answer 1

有一个用于元数据收集的开放文件倡议协议(protocol)，它使用 xml over html 。您可以在以下位置找到它:http://www.openarchives.org/Register/BrowseSites

此外，深网(也称为 Deepnet、隐形网、暗网或隐藏网)是指不属于由标准搜索引擎索引的表面网络的万维网内容。

商业搜索引擎已经开始探索抓取深层网络的替代方法。 Sitemap 协议(protocol)(最初由 Google 开发)和 mod oai 是允许搜索引擎和其他相关方在特定 Web 服务器上发现深层 Web 资源的机制。这两种机制都允许 Web 服务器公布可在其上访问的 URL，从而允许自动发现不直接链接到表面 Web 的资源。 Google 的深层 Web 表面处理系统预先计算每个 HTML 表单的提交，并将生成的 HTML 页面添加到 Google 搜索引擎索引中。浮出水面的结果占每秒对深层 Web 内容的一千次查询。在这个系统中，提交的预计算是使用三种算法完成的:

(1) 为接受关键字的文本搜索输入选择输入值，

(2) 识别仅接受特定类型(例如日期)值的输入，以及

(3) 选择少量的输入组合，生成适合包含在 Web 搜索索引中的 URL。