node.js - 如何检测来自 Puppeteer 的请求？

Question

我想知道是否存在网站可以使用它来检测来自 Puppeteer 的请求的标志或标签？

当我运行基于 Puppeteer 的代码访问目标网站时，我发现该网站似乎知道请求是由 Puppeteer 发出的。

怎么办？

Answer 1

如果您正在运行 puppeteer 并希望将一些信息传递到网站以捕获您的爬行，那么最好的方法是设置自定义用户代理:

const browser = await puppeteer.launch({
    args: ['--user-agent=hhh'],
});
const page = await browser.newPage();

见 here更多信息

反之亦然，如果您拥有一个网站并且想知道访问是真实的还是来自机器人( puppeteer 操纵者、抓取工具或其他任何东西)，请参阅 this answer对于其中一些。
还有 this answer