web-scraping - 不断保存在我的浏览器中打开的动态变化网页的内容

Question

我想继续分析动态变化的网页中的文本 -- 内容是我的特定登录信息，没有 API 可以通过脚本请求相同的内容。

所以我分析内容的唯一方法是在浏览器中打开页面，然后将网页保存为 html(或其他一些合适的格式)并对其进行分析。

我需要每 2-3 秒继续进行一次此分析。因此，我能想到的一种方法是通过脚本自动保存页面并分析保存的内容。有人可以建议我一些通过脚本保存打开的网页的方法吗？

或者其他一些方法来做我想做的分析。

Answer 1

您可以使用 Puppeteer ，一个 headless 的 Chrome Node API。这样你就可以:

1. 以编程方式导航到某个页面(或多个页面)
2. 等待它呈现(因为您的页面是动态的)
3. 将其内容(HTML、PDF 或其他格式)转储到文件
4. 按照你想要的方式处理它
5. (可选) 包括一个计时器循环(如 setInterval(() => {//Do stuff }, 毫秒))