python - 抓取滚动时加载内容的动态网站

Question

我不知道正确的术语，但我认为“动态网站”可能会解决问题。
我的意思是，当我滚动时，资源就会被加载。我搜索了解决方案，并遇到了网络驱动程序，我个人不喜欢加载整个浏览器，只是为了向下滚动。
另一种方法是查看网络选项卡并抓取我在那里找到的网址。

https://www.immowelt.de/liste/hamburg/wohnungen/mieten?prima=700&sort=relevanz&cp=1

然而，当我滚动时，内容确实被加载了。

当我打开网络选项卡并向下滚动时显示的链接:https://www.immowelt.de/liste/getlistitems

我是网络开发新手，所以我不明白我在网络选项卡中看到的这些链接如何命名完全相同但具有不同的值。

Answer 1

如果您仔细观察网络数据包。您将看到这是一个 POST 请求，并将表单数据发送到该链接。更仔细地查看表单数据:

query: geoid=108020&etype=1&esr=2&prima=700&sort=relevanz&cp=1
offset: 12
pageSize: 4

您会看到它发送了一个偏移量。这就是分页下一个结果。