python - 在需要身份验证的地方使用 BeautifulSoup

Question

我正在使用 BeautifulSoup4 和 Python 请求为公司项目抓取 LAN 数据。由于该网站有登录界面，因此我无权访问数据。登录界面是一个弹出窗口，不允许我在没有登录的情况下访问页面源或检查页面元素。我得到的错误是这样的 -

访问错误:未经授权访问此文档需要用户 ID

This is a screen-shot of the pop-up box (涂黑部分为敏感信息)。它根本没有关于 html 标签的信息，因此我无法通过 python 自动登录。

我尝试过 requests_ntlm、selenium、python requests 甚至 ParseHub，但没有成功。我已经陷入这个阶段一个月了!请提供任何帮助，我们将不胜感激。

下面是我的初始代码:

import requests
from requests_ntlm import HttpNtlmAuth
from bs4 import BeautifulSoup
r = requests.get("www.amazon.in")
from urllib.request import Request, urlopen
req = Request('http://www.cmegroup.com/trading/products/#sortField=oi&sortAsc=false&venues=3&page=1&cleared=1&group=1', headers={'User-Agent': 'Mozilla/5.0'})
webpage = urlopen(req).read()
print r.content
r = requests.get("www.amazon.in",auth=HttpNtlmAuth('user_name','passwd'))
print r.content*

s_data = BeautifulSoup(r.content,"lxml")*
print s_data.content

错误: 文件错误:未经授权

访问错误:未经授权

访问此文档需要用户 ID

这是我手动登录网站后，BeautifulSoup 尝试访问数据时遇到的错误。

Answer 1

如果您使用 BeautifulSoup 并在 Python 3.x 上请求，只需使用:

from bs4 import BeautifulSoup
import requests

r = requests.get('URL', auth=('USER_NAME', 'PASSWORD'))
soup = BeautifulSoup(r.content)