python - 检查元素中的 HTML 代码与 html 源代码不同

Question

我正在尝试抓取一个网站(使用 python)并获取其用户信息。但是当我下载页面的源代码时，它与我在 Chrome 中的检查元素中看到的不同。我用谷歌搜索，似乎我应该使用 Selenium ，但我不知道如何使用它。这是我的代码，当我看到 driver.page_source 时，它仍然是 chrome 中的源页面，并且看起来不像检查元素中的源。如果有人能帮助我解决这个问题，我真的很感激。

import os
from selenium import webdriver

chromedriver = "/Users/adam/Downloads/chromedriver"
os.environ["webdriver.chrome.driver"] = chromedriver
driver = webdriver.Chrome(chromedriver)
driver.get("http://www.tudiabetes.org/forum/users/Bug74/activity")
driver.quit()

Answer 1

它被称为XHR。
您的页面是从另一个调用加载的(您的 url 仅加载页面的结构，页面的内容来自使用 XHR、json 格式字符串的不同来源)，而不是页面加载本身。

您确实应该考虑使用 requests 和 bs4 来查询 this page相反。