node.js - 在 scrape-it 中设置用户代理

Question

我正在使用 scrape-it在我的 node.js 抓取工具中(用于识别正确的关键字用法)但被某些网站识别为机器人并且没有获得任何内容。有没有办法配置一个已知的 user agent绕过该 block 的 GET 请求的 header ？

Answer 1

您可以通过将选项对象传递给 scrape-it 来设置 header ，包括用户代理:

scrapeIt({
    url: "http://example.com"
  , headers: { "User-agent": "known-user-agent-of-choice" }
},
{
  // some scrapeHTML options ...
})
.then(
 // some code ...
);