django - 搜索引擎如何看待本地化的 Django 站点？

Question

我有一个 Django 站点，它使用本地化中间件与 gettext 和 trans/blocktrans 模板标签相结合，根据用户代理字符串中的首选语言向访问者显示不同的页面(这似乎是在 Django 中做事的标准方式) .

这对于支持的语言非常有用(目前只有西类牙语、英语和德语，还有更多)。如果我在浏览器中将首选语言设置为不同的语言，我就会得到该翻译的页面。但是，我不知道它在搜索引擎中的表现如何。

当搜索引擎抓取网站时，它的代理字符串中通常是否有首选语言？德国蜘蛛会获得德语网站，西类牙蜘蛛会获得西类牙语网站，还是只会获得在用户未设置语言时显示的默认英文网站？这是否因搜索引擎而异，是否有一种“标准方式”来做个别爬虫可能会或可能不会坚持的事情？

Answer 1

机器人通常在 http header 中没有接受语言设置。这意味着 django 将为您的默认语言提供服务。
区域搜索引擎可以将接受语言设置为任何他们喜欢的机器人，但你不能依赖它。
最好为每种语言设置不同的页面。如 http://your.website.com/english/
然后在您的中间件中设置重定向到正确的语言页面(如果存在特定的接受语言)。