html - Mechanize 不像浏览器那样处理 cookie-6ren

html - Mechanize 不像浏览器那样处理 cookie

转载作者：行者123 更新时间：2023-11-28 01:15:24

24

4

我有以下代码:

use WWW::Mechanize;
$url = "http://daccess-ods.un.org/access.nsf/Get?Open&DS=A/HRC/WGAD/2015/28&Lang=E";
$mech = WWW::Mechanize->new();
$mech->get($url);
$content = $mech->content();
while ($content =~ m/<META HTTP-EQUIV="refresh" CONTENT="(\d+); URL=(.+?)">/) {
    $refresh = $1;
    $link = $2;
    sleep $refresh;
    $mech->get($link);
    $content = $mech->content();
}
$mech->save_content("output.txt");

当我将分配给 $url 的 URL 放在浏览器中时，最终结果是下载了一个 PDF 文件，但是当我运行上面的代码时，我最终用不同的文件。我认为 Mechanize 可能无法正确处理 cookie。我怎样才能让它发挥作用？

最佳答案

当你请求http://daccess-ods.un.org/access.nsf/Get?Open&DS=A/HRC/WGAD/2015/28&Lang=E您首先会重定向到 https。

然后您将获得一个带有 META REFRESH 的页面。这会在 /TMP 中为您提供一个文件。

得到https://daccess-ods.un.org/TMP/xxx.xxx.html后并按照 META REFRESH 到 https://documents-dds-ny.un.org/doc/UNDOC/GEN/G15/263/87/PDF/G1526387.pdf?OpenElement它仍然没有下载文档，但给出了错误消息。

从浏览器检查标题的原因是浏览器设置了三个 cookie，而 WWW::Mechanize 只设置了一个:

citrix_ns_id=xxx
citrix_ns_id_.un.org_%2F_wat=xxx
LtpaToken=xxx

那么这些 cookie 是从哪里来的呢？事实证明，TMP html 不仅仅是一个 META REFRESH。它还有这个 HTML:

<frameset ROWS="0,100%" framespacing="0" FrameBorder="0" Border="0">
  <frame name="footer" scrolling="no" noresize target="main" src="https://documents-dds-ny.un.org/prod/ods_mother.nsf?Login&Username=freeods2&Password=1234" marginwidth="0" marginheight="0">
  <frame name="main" src="" scrolling="auto" target="_top">
  <noframes>
  <body>
  <p>This page uses frames, but your browser doesn't support them.</p>
  </body>
  </noframes>
</frameset>

此网址 https://documents-dds-ny.un.org/prod/ods_mother.nsf?Login&Username=freeods2&Password=1234确实设置了这些 cookie。

Set-Cookie: LtpaToken=xxx; domain=.un.org; path=/
Set-Cookie: citrix_ns_id=xxx; Domain=.un.org; Path=/; HttpOnly
Set-Cookie: citrix_ns_id_.un.org_%2F_wat=xxx; Domain=.un.org; Path=/

因此，通过更改您的代码以考虑到这一点:

use strict;
use WWW::Mechanize;

my $url = "http://daccess-ods.un.org/access.nsf/Get?Open&DS=A/HRC/WGAD/2015/28&Lang=E";
my $mech = WWW::Mechanize->new();
$mech->get($url);
my $more = 1;
while ($more) {
    $more = 0;
    my $follow_link;
    my @links = $mech->links;
    foreach my $link (@links) {
        if ($link->tag eq 'meta') {
            $follow_link = $link;
        }
        if (($link->tag eq 'frame') && ($link->url)) {
            $mech->follow_link( url => $link->url );
            $mech->back;
        }
    }
    if ($follow_link) {
        $more = 1;
        $mech->follow_link( url => $follow_link->url );
    }
}
$mech->save_content("output.txt");

output.txt 成功包含 pdf。

$ file output.txt
output.txt: PDF document, version 1.5

关于html - Mechanize 不像浏览器那样处理 cookie，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35935911/

24

4

0

文章推荐： javascript - 使用时间比较从选择字段中删除选项

文章推荐： C++ 获取 std::variant 当前帮助的类型的 std::typeindex

文章推荐： css - 如何在 Firefox 上使用覆盖滚动？

文章推荐： javascript - 如何永久阻止在 onbeforeunload 上分配函数的能力

cookies - Vue-Cookies : this. $cookies 未定义
在我的主要组件中，我有: mounted() { window.$cookie.set('cookie_name', userName, expiringTime); }, 这会产生以下错误:
cookies - Cookie 的最大大小是多少？每个网站的浏览器中可以存储多少个 Cookie？
我正在学习 cookie，并且我想知道在编写依赖 cookie 来存储状态的 Web 应用程序时浏览器的支持情况。对于每个域/网站，可以向浏览器发送多少个 Cookie，大小是多少？如果发送并存储
cookies - cookie less 域中的 cookie
我已经为我的站点设置了一个 cdn，并将其用于 css、js 和图像。网站只提供那些文件我的问题是 firefox 中的页面速度插件对于我的图片请求，我看到了一个 cookie Cookie fc
cookies - jMeter Cookie 管理器不存储所有 cookie
在阅读了 Internet 上的文档和帖子后，我仍然无法解决 jMeter 中的 Cookie Manager 问题。我在响应头中得到了 sid ID，但它没有存储在我的 cookie 管理器中。
cookies - Set-Cookie 是否包含多个 cookie？
我正在 Node.JS 中处理一些类似浏览器的 cookie 处理，想知道从 NodeJS and HTTP Client - Are cookies supported? 开始对这段代码进行扩展到什
cookies - Owin cookie 身份验证设置-cookie 未保存在浏览器中
我正在此堆栈上构建自托管 Web 服务器:欧文南希网络 API 2 我正在使用 Katana 的 Microsoft.Owin.Security.Cookies 进行类似表单的身份验证。我得到了 Se
cookies - 是否可以代表用户在我的网站上禁用第三方 cookie？
我有一个从另一个网站加载资源的网站。我已经能够确定: 第三方网站在用户的浏览器上放置 cookie。如果我在浏览器设置中禁用第三方 cookie，第三方网站将无法再在浏览器上放置 cookie。该
cookies - 编辑和查看 Cookie
关闭。这个问题是off-topic .它目前不接受答案。想改善这个问题吗？ Update the question所以它是 on-topic对于堆栈溢出。 9年前关闭。 Improve this q
cookies - cookie 的持久性
我正在使用 python mechanize 制作登录脚本。我已经读到 Mechanize 的 Browser() 对象将自动处理 cookie 以供进一步请求。我怎样才能使这个 cookie 持久
cookies - 是否可以在域和子域之间共享 cookie
我正在尝试在 www.example.com 和 admin.other.example.com 之间共享 cookie 我已经能够使其与 other.example.com 一起使用，但是无法访问子
cookies - 设置子子域可访问的跨子域 cookie？
我设置了一个域为 .example.com 的 cookie .它适用于我网站上的每个一级子域，应该如此。但是，它不适用于 n 级子域，即 sub.subdomain.example.com和 to
cookies - 保存时间最长的 cookies
我想让用户尽可能长时间地登录。我应该使用什么？普通 cookies 持久性 cookie 快闪 cookies ip地址 session 或这些的某种组合？最佳答案我认为 Flash cook
cookies - 互联网广告商如何使用第三方 Cookie？
如果给定的 Web 服务器只能读取其域内设置的 cookie，那么 Internet 广告商如何从其网络外的网站跟踪用户的 Web 流量？是否存在某种“supercookie”全局广告系统，允许广告
cookies - 我们可以为一个域设置多少个 cookie？
我知道一个 cookie 可以容纳多少数据是有限制的，但是我们可以设置多少个 cookie 有限制吗？最佳答案来自 http://www.ietf.org/rfc/rfc2109.txt Prac
cookies - 谷歌分析 Cookie
如果我拒绝创建 cookie，则在我的浏览器中创建名称为 __utma、__utmb 等的 cookie。我认为这个 cookie 是用于谷歌分析的。任何人都知道谷歌如何创建这个 cookie，即使浏
cookies - 环境之间的沙盒 Cookie
我有一个生产环境和一个登台环境。我想知道我是否可以在环境之间沙箱 cookie。我的设置看起来像生产 domain.com - 前端 SPA api.domain.com - 后端节点分期 sta
cookies - cookie 是如何工作的？
我想知道浏览器(即 Firefox )和网站的交互。当我将用户名和密码提交到登录表单时，会发生什么？我认为该网站向我发送了一些 cookie，并通过检查这些 cookie 来授权我。 cookie
cookies - 跨域 Cookie
我在两个不同的域中有两个网络应用程序 WebApp1 和 WebApp2。我在 HttpResponse 的 WebApp1 中设置 cookie。如何从 WebApp2 中的 HttpReque
cookies - Dartium没有在websocket握手上发送httpOnly cookie
我正在使用Dartium“Version 34.0.1847.0 aura(264987)”，并从Dart创建一个websocket。但是，如果不是httpOnly，我的安全 session cook
Javascript Cookie 代码不存储 cookie/读取空 cookie 值？
我从 Headfirst Javascript 书中获取了用于 cookie 的代码。但由于某种原因，它不适用于我的浏览器。我主要使用chrome和ff，并且我在chrome中启用了本地cookie。

首页

博学

6Ren·AI

商城

html - Mechanize 不像浏览器那样处理 cookie