python - 真实的页面内容不是我通过 Requests 和 BeautifulSoup 得到的

Question

有时我会遇到这样的情况，我无法通过浏览器页面上看到的请求访问所有内容，我想知道原因。在这些页面上，我对评论特别感兴趣。请问有人知道如何访问这些评论吗？谢谢!

import requests
from bs4 import BeautifulSoup
import re

url='https://aukro.cz/uzivatel/paluska_2009?tab=allReceived&type=all&page=1'
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
searched = soup.find_all('td', class_='col1')
print(searched)

Answer 1

值得一提的是，您可以使用 POST 请求以 JSON 格式获取个人的评分信息。根据需要处理 JSON。

import requests
import pandas as pd
import json
from pandas.io.json import json_normalize

headers = {
        'Content-Type': 'application/json',
         'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
    }

url = 'https://aukro.cz/backend/api/users/profile?username=paluska_2009'
response = requests.post(url, headers=headers,data = "")
response.raise_for_status()
data = json_normalize(response.json())
df = pd.DataFrame(data)
df.to_csv(r'C:\Users\User\Desktop\Data.csv', sep=',', encoding='utf-8',index = False )

---

JSON 示例 View :