python - 抓取的内容与我在浏览器检查器中看到的不同 - Python scraper with Selenium

Question

我想抓取这个网站https://lens.zhihu.com/api/v4/videos/1123764263738900480使用 Python 获取 play_url。

这个网站有一个非常快速的重定向，并且 url 没有改变。原页面中的play_url是无效的，如果你想访问它，你会看到“你没有权限...”。所以我在程序中使用 time.sleep(10) 来处理重定向(这似乎不适用于 Requests)。

(对不起，我弄错了，我看到的重定向过程可能只是我的Firefox浏览器导致的，但我说的方法确实可以处理重定向。)

但正如我在程序中的1.txt中看到的，抓取的内容没有我想要的play_url，其中的url仍然无效。

这里是我想要的play_url，可以在浏览器Inspector中看到标签a，它的class的值为网址: image

这是我使用的代码:

import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

service = Service(executable_path='C:\\Users\\X\\chromedriver_win32\\chromedriver.exe')
options = Options()
options.add_experimental_option('excludeSwitches', ['enable-logging'])
options.add_argument("--headless")
options.add_argument('user-agent="Mozilla/5.0"')
driver = webdriver.Chrome(service=service, options=options)

driver.get('https://lens.zhihu.com/api/v4/videos/1123764263738900480')
time.sleep(10)
pageSource = driver.page_source
driver.quit()
bs = BeautifulSoup(pageSource, 'html.parser')

with open('C:\\Users\\X\\Desktop\\1.txt', 'a', encoding='utf-8') as file:
    file.write(f"{bs}")
play_url = bs.find('a', {'class': 'url'}).get("title")
print(play_url)

它返回:

Traceback (most recent call last):
  File "c:\Users\X\Desktop\Handle redirect\stackoverflow.py", line 22, in <module>      
    play_url = bs.find('a', {'class': 'url'}).get("title")
AttributeError: 'NoneType' object has no attribute 'get'

所以在抓取的内容中，没有我在浏览器检查器中看到的 ('a', {'class': 'url'})。

为什么抓取的内容与我在浏览器Inspector中看到的不一样，如何处理？

编辑:感谢 Martin Evans 的评论，我现在知道浏览器处理来自源代码的 Javascript，因此它看起来与源代码不同。但就我而言，我在开发人员工具网络中看不到任何 js 链接。其实只有两个链接:image .所以我对上面的问题还是一头雾水。

更新:感谢@Sarhan 的评论，我解决了这个问题。我以前使用 Firefox，即使标签不存在，浏览器也会自动呈现源代码。我在 Edge 中尝试了 url，但根本没有 ('a', {'class': 'url'})。此外，非常感谢@Dimitar，所以我可以获得 play_url。

Answer 1

您可以使用 Requests 从该 url 获取响应并提取 play_url。

import requests

url = "https://lens.zhihu.com/api/v4/videos/1123764263738900480"

headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36"
}

response = requests.get(url, headers=headers)

data = response.json()
play_url = data['playlist']['LD']['play_url']

print(play_url)