gpt4 book ai didi

web-crawler - Robots.txt:只允许主要 SE

转载 作者:行者123 更新时间:2023-12-03 11:33:18 25 4
gpt4 key购买 nike

有没有办法配置robots.txt,以便网站只接受来自Google、Yahoo!的访问?和 MSN 蜘蛛?

最佳答案

用户代理: *
不允许:/
用户代理:Googlebot
允许:/
用户代理:Slurp
允许:/
用户代理:msnbot
不允许:

Slurp是雅虎的机器人

关于web-crawler - Robots.txt:只允许主要 SE,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/671491/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com