python - 如何将嵌套在 div 下的所有 div 抓取到列表中？

Question

我目前正在使用 Selenium 和 BeautifulSoup 开发网络爬虫。我觉得我遇到的问题更多是由于我缺乏 Python 经验而不是由于使用库的经验。我的问题归结为，有一些没有类的 div 嵌套在带有我想要抓取到列表中的类的 div 下。我不完全确定如何运行这些嵌套的 div 并将所有信息放入列表中。我相信我的问题的一部分是由于我在 Python 中使用嵌套 for 循环的经验不足，因为我相信当前的 for 循环会导致无限循环。让我知道你的想法。谢谢!

from selenium import webdriver
from bs4 import BeautifulSoup
import time
import os

driver = webdriver.Firefox(executable_path="/Users/myuser/Documents/geckodriverfolder/geckodriver")

driver.get('https://rotogrinders.com/projected-stats?site=draftkings&sport=nba')

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

html = driver.page_source

soup = BeautifulSoup(html, 'lxml')

salary_opp = []
for test in soup.find_all('div', class_='rgt-col'):
  for test2 in soup.find_all('div'):
    draft_kings = test2.text
    salary_opp.append(draft_kings)

print(salary_opp)

这是我在 for 循环之前所拥有的，但它只将嵌套在单数 div 下的第一个 div 放入列表中:

for test in soup.find_all('div', class_='rgt-col'):
  draft_kings = test.div.text
  salary_opp.append(draft_kings)

Answer 1

如果你想获取没有类的标签，即<div>...</div> ，您可以使用class_=None .

for test in soup.find_all('div', class_='rgt-col'):
    for test2 in test.find_all('div', class_=None):
        draft_kings = test2.text
        salary_opp.append(draft_kings)

我没有检查循环背后的逻辑，而是使用 test.find_all('div', class_=None)会回答你的问题。另请注意，我更改了第二个 for从soup.find...循环至test.find... .