gpt4 book ai didi

Robots.txt 阻止访问所有 https ://pages

转载 作者:行者123 更新时间:2023-12-02 18:49:40 26 4
gpt4 key购买 nike

阻止任何机器人访问 https://页面的语法是什么?我有一个旧网站,现在没有 SSL,我想阻止访问所有 https://页面

最佳答案

我不知道它是否有效,机器人是否为不同的协议(protocol)使用/请求不同的robots.txt。但您可以为通过 HTTPS 的请求提供不同的 robots.txt

因此,当请求 http://example.com/robots.txt 时,您将传递正常的 robots.txt。当请求 https://example.com/robots.txt 时,您将提供禁止一切的 robots.txt

关于Robots.txt 阻止访问所有 https ://pages,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/788974/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com