python - 美丽汤返回空列表

Question

我是网络抓取新手。所以我接到了一项任务，从以下位置提取数据:Here

我正在选择“评论”数据集。下面是我的抓取代码。

import requests
from bs4 import BeautifulSoup
url = 'https://www.kaggle.com/hacker-news/hacker-news'
headers = {'User-Agent' : 'Mozilla/5.0'}
response = requests.get(url, headers = headers)
response.status_code
response.content
soup = BeautifulSoup(response.content, 'html.parser')
soup.find_all('tbody', class_ = 'TableBody-kSbjpE jGqIxa')

当我尝试执行最后一个命令时，它返回:[]。

所以，我被困在这里了。我知道我们可以从内核获取数据，但仅出于练习目的我哪里出错了？我是不是选错类(class)了？我想抓取数据并可能将其保存到 CSV 文件或 No-SQL 数据库，首选 Cassandra。

Answer 1

您得到这个[]是因为您想要抓取的数据来自 API，该 API 在网页加载后加载，因此您访问的页面不包含该类

您可以打开浏览器控制台并检查屏幕截图中给出的网络，您会在其中找到要抓取的数据，因此您必须向该 URL 发出请求才能获取数据

您可以在预览选项卡中检索此 URL 中的数据，您可以看到所有数据。

如果你对Python有很好的了解，你也可以用它来抓取数据

https://doc.scrapy.org/en/latest/intro/overview.html