javascript - 搜索引擎机器人 - 爬虫 - 蜘蛛 - 等是否有 javascript？

Question

我不知道搜索引擎机器人是如何工作的，我的浏览器记录中机器人的数据库条目是例如Googlebot、msnbot、BingBot 等

所以我不知道他们是否启用了 javascript 或其他任何东西。

为什么我想知道他们是否启用了 javascript？因为我想在我的网站上使用 Javascript。我所做的是，我有一个带有短消息的“覆盖”div，我在页面加载时使用 javascript 将其设置为“display:none”。因此，如果没有 Javascript，叠加层就不会消失，网站中的任何内容都不可点击。

即使我提出了 Javascript 要求，机器人仍然可以抓取我的网站吗？因为我希望谷歌和其他优秀的机器人能够抓取我的网站。

Answer 1

是的，自 2010 年以来，至少 googlebot 以理解在(某些)javascript 中创建的非直接链接而闻名，但他们不需要您的 javascript 来读取链接，因为这些链接在 html 中清晰可见。关闭 javascript 浏览的人也是如此。