python - 是否有比 urlgrabber 更好的库用于在 python 中获取远程 url？

Question

我正在编写一个蜘蛛，它需要一个 load_url 函数来为我执行以下操作:

1. 如果出现临时错误，请重试 URL，不要泄漏异常。
2. 不泄漏内存或文件句柄
3. 使用 HTTP-KeepAlive 提高速度(可选)

URLGrabber表面上看起来很棒，但它有麻烦。第一次我遇到了打开太多文件的问题，但我能够通过关闭保持事件来解决这个问题。然后，该函数开始引发 socket.error: [Errno 104] Connection reset by peer。该错误应该已经被捕获，并且可能应该在它所在的位置引发 URLGrabberError。

我正在运行 python 2.6.4。

有谁知道用 URLGrabber 解决这些问题的方法吗？或者知道用不同的库完成我需要的另一种方法？

Answer 1

如果您正在编写网络爬虫/屏幕抓取程序，您可能有兴趣查看专用框架，例如 scrapy .

你可以用很少的代码编写非常复杂的网络爬虫:它负责安排请求的所有细节，并用结果给你回电，让你以任何你需要的方式处理(它基于扭曲但它很好地向您隐藏了所有实现细节)。