gpt4 book ai didi

robots.txt - robots.txt 是否适用于子域?

转载 作者:行者123 更新时间:2023-12-04 17:49:40 26 4
gpt4 key购买 nike

假设我有一个测试文件夹 (test.domain.com) 并且我不希望搜索引擎在其中抓取,我是否需要在测试文件夹中有一个 robots.txt 或者我可以只放置一个 robots.txt在根目录中,然后只是禁止测试文件夹?

最佳答案

每个子域通常被视为一个单独的站点,并需要自己的 robots.txt 文件。

关于robots.txt - robots.txt 是否适用于子域?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20256056/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com