search - 在 robots.txt 开头禁止所有机器人后，指定指令是否会产生异常？

Question

案例如下:

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow: /test

在这种情况下，Googlebot 是否能够完成它的工作？

我想也许是因为该文件只指定不允许对 Googlebot 进行/test，所以 Googlebot 可以在除/test 之外的其他目录上执行它们的工作？

Answer 1

问题:在这种情况下，Googlebot 是否能够完成它的工作？

回答:不是这种情况

User-agent: *
Disallow: /

问题:我想也许是因为该文件只指定不允许对 Googlebot 进行/test，所以 Googlebot 可以在除/test 之外的其他目录上执行它们的工作？

回答:完全正确