javascript - 使用 Node JS 抓取网站的 javascript 变量

Question

我正在尝试使用 NodeJS 应用程序抓取网站变量的实时值。

我尝试过“cheerio”，但没有成功。它仅以字符串形式返回目标的 HTML，而不是变量的运行时值。

例如“www.google.com”的“google.authuser”值

screenshot

请给我建议一个简单的解决方案。谢谢。

Answer 1

感谢 headless 浏览器的推荐。 Headless Chrome NodeJS API Puppeteer为我工作。

async function crawl() {
const puppeteer = require('puppeteer');
const browser = await puppeteer.launch();

const page = await browser.newPage();
await page.goto('http://www.google.com');

const dataPromise = await page.evaluate(() => {
    return Promise.resolve({
        number: google.authuser
    });
});

browser.close();
return dataPromise;}