javascript - 我将如何在此网页上抓取 JS 生成的数据？

Question

上周，推出了一款名为#Homescreen 的新工具，让人们可以分享他们在 iPhone 主屏幕上的应用程序的屏幕截图。例如:https://homescreen.is/iamfinnym

我想构建一个抓取程序，提取给定用户页面的所有应用程序的名称(除了它们在屏幕上的位置)。我该怎么做？我知道如何构建一个普通的 HTML 抓取工具，但看起来这些应用程序是通过某种 React.js javascript 调用生成到页面上的，我不确定如何解决这个问题。 (我会写基本的 Javascript，但以前从未使用过 React.js，我不知道如何开始。)

Answer 1

这是通过 Chrome 的开发控制台获取数据的方法:

如果您打开 Chrome 开发者控制台(Ctrl/Cmd+Shift+C)，然后前往网络，您会发现this :

如果单击它，您将看到 API 已设置，因此当您向 https://homescreen.is/api/user/{USERNAME} 发出 GET 请求时，您将获得他们应用程序的数据作为 responseData.apps。单击预览以预览 data由 API 发送:

现在您可以使用任何语言的 http 库向 API 发出 GET 请求。