python - 所需项目不在汤对象中 - BeautifulSoup Python

Question

所以我想从这个链接中提取“bilibili-player-video-info-people-number”: https://www.bilibili.com/video/BV1a44y167wK .当我创建我的 beautifulsoup 对象并搜索它时，这个类不存在。是解析器的原因吗？我确实尝试了 lxml 和 html5lib，但都没有更好的效果。

<span class="bilibili-player-video-info-people-number">585</span>

这就是我要提取的完整元素 - 数字每分钟更新一次以显示当前有多少人正在观看。

import time
from bs4 import BeautifulSoup
from selenium import webdriver
import re
import html5lib

driver = webdriver.Chrome(r'C:\Users\Rob\Downloads\chromedriver.exe')

driver.get('https://www.bilibili.com/video/BV1a44y167wK')

content = driver.page_source.encode('utf-8').strip()
soup = BeautifulSoup(content, 'html5lib')

viewers = soup.findAll('span', class_='bilibili-player-video-info-people-text')

print(viewers[0])

print(viewers[0]) 返回超出范围的错误，因为查看器对象中没有任何内容。

谢谢!

Answer 1

几乎整个网站都在 JavaScript 的支持下，所以 bs4 没用，除非你想要的元素是在请求的 HTML。在您的情况下，不是。

但是，您可以查询一个 API 端点，它携带此数据(以及更多)。

通过一些 regex 和 requests，您可以获得在线人数(观众)。

方法如下:

import re

import requests

with requests.Session() as connection:
    page_url = "https://www.bilibili.com/video/BV1a44y167wK"
    page = connection.get(page_url).text
    cid = re.search(r"cid\":(\d+),\"page", page).group(1)
    aid = re.search(r"aid\":(\d+),", page).group(1)
    url = f"https://api.bilibili.com/x/player/v2?cid={cid}&aid={aid}&bvid={page_url.rsplit('/', 1)[-1]}"
    print(connection.get(url).json()["data"]["online_count"])

输出(注意:它可能会随着观众来来去去而改变):

562