python - 尝试使用 BeautifulSoup 查找 div 时，Webscraping 不会返回任何内容

Question

我正在尝试建立一个程序，每当从香港飞往新德里再飞往大阪的“最佳”航类价格下降时，该程序就会通知我。我将 Skyscanner 的搜索结果页面作为我的计划的基础。

import requests
from bs4 import BeautifulSoup

URL = 'https://www.skyscanner.com.hk/transport/d/hkga/2019-12-28/del/del/2020-01-05/osaa?adults=1&children=0&adultsv2=1&childrenv2=&infants=0&cabinclass=economy&ref=home&locale=en-GB#/'

page = requests.get(URL)

soup = BeautifulSoup(page.content, 'html.parser')
pricebox = soup.find('div', class_= 'Price_mainPriceContainer__1dqsw')
price = pricebox.find('span', class_= 'BpkText_bpk-text__2NHsO BpkText_bpk-text--base__2vfTl BpkText_bpk-text--bold__4yauk').text

好吧，我想找到第一个包含包含“最佳航类”价格的跨度的 div，因此我使用 find() 方法来查找具有类属性“Price_mainPriceContainer__1dqsw”的 div。然而，它什么也没返回。我无法弄清楚出了什么问题。

编辑:首先，感谢您的帮助。真的很感激。如果你还没有意识到，我是一个 super 初学者。无论如何，我安装了 ChromeDriver 和 Selenium 并尝试运行 @QHarr 提供的代码，它返回了这样的错误

Traceback (most recent call last):
  File "testflight.py", line 6, in <module>
     d = webdriver.Chrome(r'/usr/local/bin/chromedriver')
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/selenium/webdriver/chrome/webdriver.py", line 81, in __init__
desired_capabilities=desired_capabilities)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 157, in __init__
self.start_session(capabilities, browser_profile)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 252, in start_session
response = self.execute(Command.NEW_SESSION, parameters)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
self.error_handler.check_response(response)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
 selenium.common.exceptions.WebDriverException: Message: unknown error: Failed to create a Chrome process.

我不知道为什么会这样。我已经将 ChromeDriver 重新定位到/usr/local/bin，安装了与我的 Google Chrome 版本相对应的 ChromeDriver，并且 Google Chrome 已使用正确的默认路径安装。

Answer 1

由于该页面正在向各个合作伙伴发出请求以找到最佳价格，因此将会有大量流量，并且可能没有一个 xhr 可以让您始终找到最佳价格(理论未经测试)。我可能会选择 Selenium ，并有一个等待条件，让所有结果都出现在页面上，然后提取最佳价格

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

d = webdriver.Chrome(r'path\chromedriver.exe')
d.get('https://www.skyscanner.com.hk/transport/d/hkga/2019-12-28/del/del/2020-01-05/osaa?adults=1&children=0&adultsv2=1&childrenv2=&infants=0&cabinclass=economy&ref=home&locale=en-GB#/')
WebDriverWait(d,20).until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "[class^=Results_dayViewItems]")))
d.find_element_by_css_selector('[class^=Price_mainPriceContainer] span').text