java - 并发网络爬虫通常将访问过的 URL 存储在并发映射中，还是使用同步来避免两次抓取相同的页面？

Question

我正在尝试编写一个简单的多线程网络爬虫。我看到很多消息来源都在谈论网络爬虫显然是平行的，因为你可以从不同的 URL 开始爬行，但我从来没有看到他们讨论网络爬虫如何处理他们以前见过的 URL。似乎某种全局 map 对于避免一遍又一遍地重新抓取相同的页面是必不可少的，但是关键部分将如何构建？锁的粒度有多细才能最大化性能？我只想看一个不太密集也不太简单的好例子。

Answer 1

特定领域用例:在内存中使用

如果是特定的域名，比如abc.com，那么最好在内存中设置vistedURL或者Concurrent hash map，在内存中检查访问状态会更快，内存消耗也会相对较少。 DB会有IO开销，成本高，访问状态检查会很频繁。它会严重影响你的表现。根据您的用例，您可以在内存或数据库中使用。我的用例特定于访问过的 URL 不会再次访问的域，因此我使用了并发 HashMap 。