gpt4 book ai didi

robots.txt - Google+ robots.txt 中的这些行是什么意思?

转载 作者:行者123 更新时间:2023-12-03 12:20:31 27 4
gpt4 key购买 nike

http://plus.google.com/robots.txt具有以下内容:

User-agent: *
Disallow: /_/

我假设这意味着搜索引擎可以索引根以外的第一层中的任何内容,而不能再进一步了?

最佳答案

我相信这些行用于拒绝机器人访问 URL,例如 https://plus.google.com/_/apps-static/_/ss/landing/...https://plus.google.com/_/apps-static/_/js/landing/... .

这些 URL 似乎主要是 CSS、Javascript 和 JSON,但可能还有其他内容(对搜索引擎更有值(value))不是很明显。

关于robots.txt - Google+ robots.txt 中的这些行是什么意思?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6867182/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com