https - 如何下载 protected 网页

Question

我想以编程方式下载需要登录才能查看的网页。有什么理智的方法可以做到这一点吗？通过查看 HTTP header 等，我可以看到用户名/密码作为 POST 数据传递，但是请求附加此信息的页面还不够好。我认为也涉及 cookie，而且它们看起来包含某种加密的授权数据。

有什么办法可以伪造吗？语言在这里并不太重要，但是像 Perl 这样可以相对轻松地在 Linux 上运行的东西会很好。或者可以编写命令行浏览器脚本？

Answer 1

是的，您可以通过 curl 命令行工具或 CURL 库执行此操作。您需要弄清楚 cookie 中应该包含什么，然后使用 curl 的 -b 选项或等效的 CURL API 传递它们。

您还可以通过 CURL 执行 HTTP 基本身份验证。

如果页面真的复杂，您将不得不进行 HTML 解析甚至 JS 解释以预先提取 cookie 数据。这仍然可行，但不能单独使用 CURL。

一般来说，Web 浏览器可以执行的任何操作都可以编写脚本。图灵完整性等等。像 BlueSocket 销售的“无法编写脚本的”强制门户是一堆铺位；它们基本上只是混淆的网页。他们会减慢你的速度，但永远不会阻止你 - 他们必须给你 key 才能工作!