python - 使用Python/urllib访问 "siteminder"认证的网站？

Question

我正在尝试使用 Python 访问和解析工作中的网站。站点授权是通过 siteminder 完成的，因此通常的 urllib/urllib2 用户密码不起作用。有谁知道如何做到这一点？谢谢诺姆M

Answer 1

只是这样做了 - 我知道它很老 - 但如果其他人想要这样做 - 使用请求库。我之前在 C# 中完成过此操作并使用了大量代码 - 但这就是登录到我的公司 siteminder 系统所需的全部 - 很好。 request.session() 对象将保留重定向、 header 和 cookie - 因此您需要担心的只是发布登录表单。我确信变量在您的环境中会有所不同，但过程是相同的。

output.text 将是您想要解析的目标页面的主体，然后您可以使用 xpath 或其他任何方式。

import requests
r = requests.session()
postUrl = "https://loginUrl"
params = {  'USER': 'user',
            'PASSWORD': 'pass',
            'SMENC': 'ISO-8859-1',
            'SMLOCALE': 'US-EN',
            'target': '/redir.shtml?GOTO=redirecturl}',
            'smauthreason': '0' }

r.post(postUrl, data=params)

getUrl = "http://urlFromBehindLogInYouWantDataFrom"
output = r.get(getUrl)
print(output.text)