python - 登录网站的问题

Question

我正在尝试构建一个登录网页的小脚本，然后我可以从那里做其他事情。

我在获取未经验证的页面时没有问题，但是当我尝试“登录”时，它似乎没有发布该页面。我不确定是否是没有表单操作的问题，并且此页面上还有另一个隐藏表单。

当我尝试我的代码时，返回的 html 中的字段填写了我提供的用户/密码。就像没有按下“登录”按钮一样。

这是表格:

<form method="POST">
   <table border=1  bgcolor="#a7a7a7"  style="border-collapse:collapse;border-style:solid; border-color:#006600" >
      <tr>
         <td>
            <table  cellspacing=2 cellpadding=4>
               <tr>
                  <td align="right"  bgcolor="#b7b7b7" >your email</td>
                  <td  bgcolor="#c7c7c7" ><input name="user_email" type="text" size=30 value=""><br></td>
               </tr>
               <tr>
                  <td align="right"  bgcolor="#b7b7b7" >your password</td>
                  <td  bgcolor="#c7c7c7" ><input name="user_password" type="password" size=30><br></td>
               </tr>
               <tr>
                  <td align="center" colspan=2><input type="submit" name="do_login" value="log in"></td>
               </tr>
            </table>
         </td>
      </tr>
   </table>
   <input type="hidden" name="allhidden[0]" value="dummy">
   <input type="hidden" name="allhidden[_ga]" value="1234">
   <input type="hidden" name="allhidden[_gid]" value="1234">
   <input type="hidden" name="allhidden[gd_session]" value="eFmcHb">
   <input type="hidden" name="allhidden[grey_cookie]" value="&&&">
   <br>
</form>

这是我的代码:

s = requests.Session()

# Perform login
result = s.post(LOGIN_URL, data={
    "user_email": USERNAME, 
    "user_password": PASSWORD, 
})

# Scrape url
html = s.get(DASHBOARD_URL).content
print(html)
soup = BeautifulSoup(html, "html.parser")

尝试了各种代码，但知道上面的代码适用于普通页面。我还需要传递其他信息或启动提交按钮吗？

感谢您的帮助!

Answer 1

检查^[1]请求后，您可以看到以下字段是必需的:

z: 7T2RlN
user_email: USERNAME
user_password: PASSWORD
do_login: log in
allhidden[0]: dummy

您需要抓取 z 的值首先来自http://greyhound-data.com/login.htm ，这是一个隐藏字段值:<input type="hidden" name="z" value="7T2RlN"> .

import requests
from bs4 import BeautifulSoup

with requests.Session() as s:
    r = s.get('http://greyhound-data.com/login.htm')
    soup = BeautifulSoup(r.text, 'lxml')
    z = soup.find('input', {'name': 'z'})['value']
    data = {
        'z': z,
        'user_email': USERNAME,
        'user_password': PASSWORD,
        'do_login': 'log in',
        'allhidden[0]': 'dummy',
    }
    r = s.post('http://greyhound-data.com/login.htm', data=data)
    print('You are now successfully logged in.' in r.text)
    # True

[1]:检查请求:

1. 打开开发者工具(Ctrl+Shift+I)
2. 点击网络
3. 输入登录信息并提交表格
4. 点击 login.htm

---

更新后的代码:

import requests
from bs4 import BeautifulSoup

with requests.Session() as s:
    r = s.get('http://greyhound-data.com/login.htm')
    soup = BeautifulSoup(r.text, 'lxml')

    data = {
        'user_email': USERNAME,
        'user_password': PASSWORD,
        'do_login': 'log in',
    }

    for hidden_field in soup.find_all('input', type='hidden', value=True):
        data[hidden_field['name']] = hidden_field['value']

    r = s.post('http://greyhound-data.com/login.htm', data=data)
    print('You are now successfully logged in.' in r.text)