python - 为什么我只能抓取 eBay 上前 4 页的结果？

Question

这个问题已经有答案了:

What causes `None` results from BeautifulSoup functions? How can I avoid "AttributeError: 'NoneType' object has no attribute..." with BeautifulSoup? (2 个回答)

Sending "User-agent" using Requests library in Python (3 个回答)

已关闭 8 个月前。

我有一个简单的脚本来分析 eBay 上的销售数据(棒球交易卡)。前 4 页似乎工作正常，但在第 5 页，它根本不再加载所需的 html 内容，我无法弄清楚为什么会发生这种情况:

#Import statements
import requests
import time
from bs4 import BeautifulSoup as soup
from tqdm import tqdm

#FOR DEBUG
Page_1="https://www.ebay.com/sch/213/i.html?_from=R40&LH_Sold=1&_sop=16&_pgn=1"

#Request URL working example
source=requests.get(Page_1)
time.sleep(5)
eBay_full = soup(source.text, "lxml")
Complete_container=eBay_full.find("ul",{"class":"b-list__items_nofooter"})
Single_item=Complete_container.find_all("div",{"class":"s-item__wrapper clearfix"})
items=[]
#For all items on page perform desired operation
for i in tqdm(Single_item):
    items.append(i.find("a", {"class": "s-item__link"})["href"].split('?')[0].split('/')[-1])
    #Works fine for Links_to_check[0] upto Links_to_check[3]

但是，当我尝试抓取第五页或更多页面时，会发生以下情况:

Page_5="https://www.ebay.com/sch/213/i.html?_from=R40&LH_Sold=1&_sop=16&_pgn=5"

source=requests.get(Page_5)
time.sleep(5)
eBay_full = soup(source.text, "lxml")
Complete_container=eBay_full.find("ul",{"class":"b-list__items_nofooter"})
Single_item=Complete_container.find_all("div",{"class":"s-item__wrapper clearfix"})
items=[]
#For all items on page perform desired operation
for i in tqdm(Single_item):
    items.append(i.find("a", {"class": "s-item__link"})["href"].split('?')[0].split('/')[-1])

----> 5 Single_item=Complete_container.find_all("div",{"class":"s-item__wrapper clearfix"})
      6 items=[]
      7 #For all items on page perform desired operation

AttributeError: 'NoneType' object has no attribute 'find_all'

这似乎是后面页面的 eBay_full 汤中缺少 ul 类 b-list__items_nofooter 的逻辑结果。但问题是为什么这些信息丢失了？滚动浏览汤，所有感兴趣的项目似乎都不存在。正如预期的那样，该信息出现在网页本身上。谁能指导我？

Answer 1

根据 @Sebastien D 他的评论，问题已解决

在 headers 变量中仅放入这些浏览器之一，以及当前的稳定版本号(例如 Chrome/53.0.2785.143，最新找到的 here )

headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}

source= requests.get(Page_5, headers=headers, timeout=2)