javascript - 通过 JavaScript 检测搜索爬虫

Question

我想知道如何检测搜索爬虫？我问的原因是因为如果用户代理是机器人，我想抑制某些 JavaScript 调用。

我找到了如何检测特定浏览器的示例，但找不到如何检测搜索爬虫的示例:

/MSIE (\d+\.\d+);/.test(navigator.userAgent);//测试 MSIE x.x

我要阻止的搜索爬虫示例:

Google 
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 
Googlebot/2.1 (+http://www.googlebot.com/bot.html) 
Googlebot/2.1 (+http://www.google.com/bot.html) 

Baidu 
Baiduspider+(+http://www.baidu.com/search/spider_jp.html) 
Baiduspider+(+http://www.baidu.com/search/spider.htm) 
BaiDuSpider 

Answer 1

这是 ruby​​ UA 的正则表达式 agent_orange库用于测试 userAgent 是否看起来是机器人。您可以通过引用 bot userAgent list here 缩小特定机器人的范围。 :

/bot|crawler|spider|crawling/i

例如你有一些对象，util.browser，你可以存储用户使用的设备类型:

util.browser = {
   bot: /bot|googlebot|crawler|spider|robot|crawling/i.test(navigator.userAgent),
   mobile: ...,
   desktop: ...
}