python - 用 Python 爬虫？

Question

我想用python写一个爬虫。这意味着:我有一些网站主页的 url，并且我希望我的程序能够通过保留在网站中的链接爬过所有网站。我怎样才能轻松快速地做到这一点？我已经尝试过 BeautifulSoup，但它真的很消耗 CPU，而且在我的电脑上速度很慢。

Answer 1

我建议结合使用 mechanize 和 lxml.html。正如罗伯特金所建议的，机械化可能是浏览网站的最佳选择。为了提取元素，我会使用 lxml。 lxml 比 BeautifulSoup 快得多，可能是 python 可用的最快的解析器。 this link展示了针对 python 的不同 html 解析器的性能测试。就我个人而言，我不会使用 scrapy 包装器。

我还没有测试过，但这可能就是你要找的，第一部分直接取自 mechanize documentation . the lxml documentation也挺有帮助的。特别看看this和 this部分。

import mechanize
import lxml.html

br = mechanize.Browser()
response = br.open("somewebsite")

for link in br.links():
    print link
    br.follow_link(link)  # takes EITHER Link instance OR keyword args
    print br
    br.back()

# you can also display the links with lxml
html = response.read()
root = lxml.html.fromstring(html)
for link in root.iterlinks():
    print link

您还可以通过 root.xpath() 获取元素。一个简单的 wget 甚至可能是最简单的解决方案。

希望我能帮到你。