Python 3 - 与网页交互的方式

Question

我有阅读和提取 html 源“给定”的经验(通过 urllib.request)，但现在我想执行类似浏览器的操作(例如填写表单，或从选项菜单中选择一个值)并且然后，当然，像往常一样读取生成的 html 代码。我确实遇到了一些看起来很有前途的模块，但结果证明不支持 Python 3。因此，我在这里要求提供所需的库/模块的名称，或者指向标准库中的解决方案(如果它在那里但我没有看到它)。

Answer 1

通常许多网站(如 Twitter、facebook 或 Wikipedia)都会提供 API，让开发人员连接到他们的应用程序并以编程方式执行事件。对于您希望通过代码执行事件的网站，只需寻找其 API 支持即可。

如果您需要进行网页抓取，可以使用scrapy 。但它只支持 python 2.7.x。无论如何，你可以使用 requests对于 HTTP 客户端和 beautiful soup用于 HTML 解析。