seo - 仅允许 Googlebot 将所有内容编入索引

Question

我想禁止所有机器人抓取网站并将其编入索引。除了 Googlebot。我想允许谷歌索引索引 (/) URL，但没有别的。最好在 robots.txt 中。

您对如何实现这一目标有任何想法吗？谢谢!

Answer 1

您需要使用robot.txt。

只需在网站的公共(public)文件夹中创建一个并添加；

用户代理:Googlebot

允许:/

用户代理: *

不允许:/

这将允许谷歌爬虫索引所有页面并禁止整个网站的所有其他爬虫。

详情引用:https://support.google.com/webmasters/answer/6062596?hl=en

我知道这可能被认为是题外话，但仍然认为如果这有帮助我会回答。
正如约翰康德建议的那样，尝试网站管理员......