python-3.x - Python 3 网页抓取选项

Question

我是 Python 新手，所以如果这是一个新手问题，我很抱歉。

我正在尝试构建一个涉及网络抓取的程序，我注意到 Python 3 的网络抓取模块似乎比 Python 2.x 系列少得多。

Beautiful Soup、mechanize 和 scrapy——推荐给我的三个模块——似乎都互不兼容。

我想知道这个论坛上是否有人有一个使用 python 3 进行网页抓取的好选择。

任何建议将不胜感激。

谢谢，
将要

Answer 1

lxml.html在 Python 3 上工作，至少可以让你解析 html。

BeautifulSoup 4 正在开发中，应该支持 Python 3(我已经在这方面做了一些工作)。