gpt4 book ai didi

sitecore - 是否可以在同一个 robots.txt 文件中列出不同域的站点地图?

转载 作者:行者123 更新时间:2023-12-05 01:05:40 25 4
gpt4 key购买 nike

我们有多个网站从同一个 Sitecore 实例和同一个生产 Web 服务器提供服务。每个网站都有自己的主站点地图和 Google 新闻站点地图,到目前为止,我们已经在 .NET 站点的单个 robots.txt 文件中包含了每个站点地图规范。

我们的 SEO 专家已将同一 robots.txt 中不同域的存在作为一个可能的问题提出,我找不到任何明确说明一种或另一种方式的文档。谢谢你。

最佳答案

这至少对谷歌来说应该没问题。但是,它可能不适用于 Bing 等其他搜索引擎。
根据https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt :

sitemap: [absoluteURL]

[absoluteURL] points to a Sitemap, Sitemap Index file or equivalent URL. The URL does not have to be on the same host as the robots.txt file. Multiple sitemap entries may exist. As non-group-member records, these are not tied to any specific user-agents and may be followed by all crawlers, provided it is not disallowed.

关于sitecore - 是否可以在同一个 robots.txt 文件中列出不同域的站点地图?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21148445/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com