Python-手动浏览器登录后从urllib2恢复网络 session

Question

比如说，我浏览到一个需要登录才能访问内容的网站(也在 Intranet 上)。我将填写必填字段...例如从浏览器本身登录所需的用户名、密码和任何验证码等。

我登录该站点后，可以从登录后第一页上的多个链接和选项卡中获取很多好东西。

现在，从这一点开始(即从浏览器登录后)。我想控制页面并从 urllib2 下载...比如逐页浏览，在每一页上下载 pdf 和图像等.

我知道我们可以直接使用 urllib2(或机械化)中的所有内容(即登录页面并完成所有操作)。

但是，对于某些网站.. 浏览并找出登录机制、所需的隐藏参数、引荐来源网址、验证码、cookie 和弹出窗口真的很痛苦。

请指教。希望我的问题是有道理的。

总而言之，我希望使用网络浏览器手动完成初始登录部分...然后接管通过 urllib2 进行抓取的自动化。

Answer 1

你有没有考虑Selenium ？它是关于浏览器自动化而不是 http 请求 (urllib2)，您可以在步骤之间操作浏览器。