java - 在 Java 中存储 Web 爬虫的 URI 的最有效的数据结构

Question

我正在构建一个网络爬虫，我已经实现了解析部分。现在我想将获得的URI存储到一个高效的数据结构中。我应该用什么？我正在使用 Jena 库进行解析。

Answer 1

哈希值。

例如:URL:scheme://domain:port/path?query_string#fragment_id。

将 URL 解析为字符串后，将 URL 存储为:

哈希['方案'] = 方案；

哈希['域'] = 域；

哈希['端口'] = 端口；

哈希['路径'] = 路径；

哈希['query_string'] = query_string;

哈希['fragment_id'] =fragment_id;