python - 无法抓取这个特定的 div 类

Question

我很好奇为什么我无法获取此类的 div 元素，如下所示(之前可以工作，但在不同的站点上)。也许是这个网站的问题？

from urllib.request import urlopen
from bs4 import BeautifulSoup
import requests

url = "https://www.docmorris.de/produkte/abnehmen"
page=requests.get(url, headers=headers)

soup = BeautifulSoup(page.content, features="lxml")
divs=soup.find_all("div",attrs={"class": "l-product mod-standard product 
list-item ff-slider"})
print(divs)

打印一个空数组。我想要所有具有“l-product mod-standard Product list-item ff-slider”类的 div 元素

Answer 1

您只需要一个多值类，这样就不会那么脆弱。另外，删除标题。

from bs4 import BeautifulSoup
import requests

url = "https://www.docmorris.de/produkte/abnehmen"
page = requests.get(url)  
soup = BeautifulSoup(page.content, features="lxml")
divs = soup.select('.l-product')
print(divs)

多值(更脆弱)是:

divs = soup.select('.l-product.mod-standard.product.list-item.ff-slider')

或者(如注释中 - 确保在一行上):

divs = soup.find_all("div",attrs={"class": "l-product mod-standard product list-item ff-slider"})