python - 在 Python 中抓取 javascript 呈现的网站的 "Script part"

Question

我正在做一个项目，我想在 Reddit 上的各个 subreddits 上查看用户的平均业力。因此，我正在收集用户的业力，这在新的 reddit 结构中被证明有点困难。

我无法使用 PRAW，因为那里的业力数字不正确。

根据一个用户的页面源，我只需要找到以下两个变量:commentKarma和postKarma。这两个变量都位于“”部分下，请参见此处的示例查看源:https://www.reddit.com/user/loganb3171 .但是，当我使用 selenium page_source 或 beautifulsoup 时，它们不会出现。

我已经研究这个问题几个小时了，但我离它还很远。

感谢任何帮助。

这些片段中的任何一个都没有像右键单击“查看页面源代码”时那样给我整个页面源代码

source_var = driver.execute_script("return document.getElementsByTagName('html')[0].innerHTML")

source_var=driver.page_source

Answer 1

好的，所以我看到您使用的是问题片段中的 selenium。如果是这种情况，则无法使用 Web 驱动程序设置请求 header 。 Reddit 会知道你是一个机器人。

如果只需要页面源码，可以使用requests获取页面用selenium打开或者使用BeautifulSoup解析页面

from bs4 import BeautifulSoup
import requests

url = "https://www.reddit.com/user/loganb3171"
page = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
soup = BeautifulSoup(page.text, 'html.parser')

print(soup.prettify())