python - 在Python中浏览/解析html页面

Question

我正在尝试将一些我需要的插件放在一起，以便与 html 页面交互。我需要的范围从简单的浏览和与网页的按钮或链接交互(如“在此文本框中写入一些文本并按此按钮”)到解析 html 页面并向服务器发送自定义 get/post 消息。我正在使用 Python 3，到目前为止，我有用于简单网页加载、自定义获取和发布消息的请求，BeautifulSoup 用于解析 HTML 树，我正在考虑尝试 Mechanize 进行简单的网页交互。

还有其他库与我目前使用的 3 个库类似吗？是否存在某种所有 Python 库都聚集的地方？因为我有时发现很难找到我想要的东西。

Answer 1

用于网络抓取的工具/库集实际上取决于多种因素:目的、要抓取的页面的复杂性、速度、限制等。

以下是当今 Python 网络抓取世界中流行的工具列表:

• selenium
• Scrapy
• splinter
• ghost.py
• requests (和grequests)
• mechanize

还有 HTML 解析器，这些是最流行的:

• BeautifuSoup
• lxml

Scrapy 可能是 Python 中为网络抓取而创建的最好的东西。它确实是一个简单明了的网络抓取框架，Scrapy 提供了您可以想象的网络抓取的一切。

注意:如果加载、形成页面涉及大量 AJAX 和 js 内容，您将需要一个真正的浏览器来处理它。这就是selenium有帮助 - 它使用真正的浏览器，允许您在 WebDriver 的帮助下与其进行交互。

另请参阅:

• Web scraping with Python
• Headless Selenium Testing with Python and PhantomJS
• HTML Scraping
• Python web scraping resource
• Parsing HTML using Python

希望有帮助。