gpt4 book ai didi

seo - robots.txt 阻止机器人爬行子目录

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:49:32 25 4
gpt4 key购买 nike

<分区>

我想阻止所有机器人抓取子目录 http://www.mysite.com/admin 以及该目录中的任何文件和文件夹。例如,/admin 中可能还有更多目录,例如 http://www.mysite.com/admin/assets/img

我不确定在 robots.txt 中包含什么是正确的声明来执行此操作。

应该是:

User-agent: *
Disallow: /admin/

或者:

User-agent: *
Disallow: /admin/*

或者:

User-agent: *
Disallow: /admin/
Disallow: /admin/*

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com