python - 请求返回部分页面

Question

我正在尝试解析用户滚动时加载的网站数据。滚动时可以出现的元素数量有限，但使用它只会给出第一部分(112 个中的 25 个):

url = "http://url/to/website"
response = requests.get(url)
soup = BeautifulSoup(response.text)

如何在返回 html 之前告诉 request“滚动”？

编辑:显然请求不要那样做，我可以在 Python 中使用什么解决方案？

Answer 1

你不能。这个问题是基于对请求的作用的误解；它只加载页面的内容。无限滚动由 Javascript 提供支持，请求不会对其执行任何操作。

您需要一些浏览器自动化工具(例如 Selenium)来执行此操作；或者找出滚动 JS 使用的 Ajax 端点并直接加载它。