用于使用请求模块登录网站的 Python 3 脚本

Question

我正在尝试编写一些 Python (3.3.2) 代码来使用 Requests 模块登录网站。这是登录页面的表单部分:

<form method="post" action="https://www.ibvpn.com/billing/dologin.php" name="frmlogin">
<input type="hidden" name="token" value="236647d2da7c8408ceb78178ba03876ea1f2b687" />

<div class="logincontainer">

    <fieldset>

        <div class="clearfix">
            <label for="username">Email Address:</label>
            <div class="input">
                <input class="xlarge" name="username" id="username" type="text" />
            </div>
        </div>

        <div class="clearfix">
            <label for="password">Password:</label>
            <div class="input">
                <input class="xlarge" name="password" id="password" type="password"/>
            </div>
        </div>

        <div align="center">

          <p>
                <input type="checkbox" name="rememberme" /> Remember Me
            </p>

          <p><a href="pwreset.php">Request a Password Reset</a></p>
        </div>

    </fieldset>

</div>

<div class="actions">
<input type="submit" class="btn primary" value="Login" />
</div>

</form>

这是我的代码，试图处理隐藏的输入:

import requests
from bs4 import BeautifulSoup

url = 'https://www.ibvpn.com/billing/clientarea.php'

body = {'username':'my email address','password':'my password'}

s = requests.Session()

loginPage = s.get(url)

soup = BeautifulSoup(loginPage.text)

hiddenInputs = soup.findAll(name = 'input', type = 'hidden')

for hidden in hiddenInputs:
    name = hidden['name']
    value = hidden['value']
    body[name] = value

r = s.post(url, data = body)

这只是返回登录页面。如果我将我的登录数据发布到“操作”字段中的 URL，我会收到 404 错误。

我在 StackExchange 上看到其他帖子，其中自动 cookie 处理似乎不起作用，所以我也尝试使用以下方法手动处理 cookie:

cookies = dict(loginPage.cookies)

r = s.post(url, data = body, cookies = cookies)

但这也只是返回登录页面。

我不知道这是否与问题有关，但在我运行上述代码的任一变体后，输入 r.cookies返回 <<class 'requests.cookies.RequestsCookieJar'>[]>

如果有人有任何建议，我很乐意听取他们的意见。

Answer 1

您正在加载错误的 URL。表单有一个 action 属性:

<form method="post" action="https://www.ibvpn.com/billing/dologin.php" name="frmlogin">

因此您必须将您的登录信息发布到:

https://www.ibvpn.com/billing/dologin.php

而不是回发到登录页面。改为 POST 到 soup.form['action']:

r = s.post(soup.form['action'], data=body)

您的代码可以很好地处理 cookie；例如，我可以看到 s.cookies 在请求登录表单后保存了一个 cookie。

如果这仍然不起作用(返回 404)，则服务器正在使用其他技术来检测脚本与真实浏览器。通常这是通过解析请求 header 来完成的。查看您的浏览器 header 并复制它们。它们可能只是解析 User-Agent header ，但 Accept-* header 和 Referrer 也可以发挥作用。