Python、BS 和 Selenium

Question

我尝试使用 javascript 动态 + bs + python 进行网页抓取，并且我阅读了很多内容来编写此代码，例如，我尝试在著名网站上抓取使用 javascript 呈现的价格:

from bs4 import BeautifulSoup
from selenium import webdriver

url = "https://www.nespresso.com/fr/fr/order/capsules/original/"

browser = webdriver.PhantomJS(executable_path = "C:/phantomjs-2.1.1-windows/bin/phantomjs.exe")
browser.get(url)
html = browser.page_source

soup = BeautifulSoup(html, 'lxml')

soup.find("span", {'class':'ProductListElement__price'}).text

但我只有结果 '\xa0' 这是源值，而不是 javascript 值，我真的不知道我做错了什么......

致以诚挚的问候

Answer 1

您不需要购买浏览器。该信息位于脚本标记中，因此您可以使用正则表达式输出并使用 json 库进行处理

import requests, re, json

r = requests.get('https://www.nespresso.com/fr/fr/order/capsules/original/')
p = re.compile(r'window\.ui\.push\((.*ProductList.*)\)')
data = json.loads(p.findall(r.text)[0])
products = {product['name']:product['price'] for product in data['configuration']['eCommerceData']['products']}
print(products)

正则表达式: