javascript - 如何从需要用户导航的网站部分抓取数据

Question

例如，假设我正在尝试从此页面抓取:

http://www.swtor.com/leaderboards/pvp/solo

它只显示前 50 个结果，很容易转到此链接并抓取这些数据。但是假设我想抓取前 200 个。作为用户，我可以单击下一页并查看下一个 50 个结果，但它不会生成新的 url。整个表格由一些 JavaScript 控制，而不仅仅是我可以遵循的显式链接。

在这种情况下，您如何使用代码导航到第 2 页等以抓取下一组记录？

Answer 1

如果您在浏览器开发人员工具上打开“网络”面板，您可以看到该站点加载表格数据所执行的 XMLHttpRequest (XHR) 请求:

http://www.swtor.com/lb/data?page=1&column=pvp_ranked_solo&season=6
http://www.swtor.com/lb/data?page=2&column=pvp_ranked_solo&season=6

此端点返回非常方便的 JSON，现在只需根据需要运行尽可能多的请求即可。提示:页面数也在返回的 JSON 中，因此即使您想要所有记录，也无需解析单个 HTML 页面。