ssl - 您如何获得受 shibboleth 身份验证保护的页面？

Question

我正试图从受 shibboleth 身份验证保护的页面上抓取数据。我无法让 cURL 和 webisoget 正常工作。所以，我正在尝试 wget，因为我认为我可以通过我的证书并获取我想要的页面。但是，我也遇到了这个问题，而且我很难找到关于我的问题的文档。

这是我尝试执行的 wget 命令:

>wget --no-check-certificate --certificate=www.washington.edu.crt https://www.washington.edu/cec/i/INFO200A2821.html

这是该命令返回的内容:

SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrcsyswgetrc = c:/progra~1/wget/etc/wgetrc--2011-05-28 00:32:37--  https://www.washington.edu/cec/i/INFO200A2821.htmlResolving www.washington.edu... 140.142.16.69, 140.142.11.167, 140.142.15.8Connecting to www.washington.edu|140.142.16.69|:443... connected.WARNING: cannot verify www.washington.edu's certificate, issued by `/C=ZA/ST=Western Cape/L=Cape Town/O=Thawte Consulting cc/OU=Certification Services Division/CN=Thawte Premium Server CA/emailAddress=premium-server@thawte.com':  Self-signed certificate encountered.HTTP request sent, awaiting response... 200 OKLength: 807 [text/html]Saving to: `INFO200A2821.html.2'100%[=====================================> ] 807         --.-K/s   in 0s2011-05-28 00:32:38 (6.78 MB/s) - `INFO200A2821.html.2' saved [807/807]

然而，即使我收到一个页面，它也不包含我希望抓取的信息。返回的页面包含一个在加载时自动提交表单的表单。该表单包含 pubcookie 和 relay_url 的隐藏输入字段。

我可以在使用我的凭据登录时访问该页面。但是，我正在努力实现自动化并获取信息。

Answer 1

我不确定您是否可以使用 wget 做到这一点。 Shibboleth 是 SAML 网络 SSO 配置文件的一个实现，它希望您有一个有效的 session 来访问 protected 资源。如果没有有效的 session ，它会将您重定向到 WAIF 页面，供您选择适当的身份提供者。在访问资源之前必须执行一系列步骤。

你可以尝试使用类似 Mechanize.pm 的东西让 Perl 自动执行身份验证过程，然后检索 protected 资源。