gpt4 book ai didi

seo - 在多语言站点中使用 `robots.txt`

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:37:42 26 4
gpt4 key购买 nike

必须管理一个多语言网站,用户被重定向到网站的本地版本,例如

myBurger.com/en // for users from US, UK, etc..
myBurger.com/fr // for users from France, Swiss, etc...

应该如何组织 robots.txt 文件与站点地图配对?

myBurger.com/robots.txt // with - Sitemap: http://myBurger.com/??/sitemap
OR
myBurger.com/en/robots.txt // with - Sitemap: http://myBurger.com/en/sitemap
myBurger.com/fr/robots.txt // with - Sitemap: http://myBurger.com/fr/sitemap

知道 enfr 网站实际上是独立的实体,即使外观相似,也不共享共同的内容。

最佳答案

您需要在顶层放置一个 robots.txt。

The robots.txt file must be in the top-level directory of the host, accessible though the appropriate protocol and port number.

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

关于seo - 在多语言站点中使用 `robots.txt`,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29914041/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com