url - Bingbot 将 unicode 字符转换为不可理解的符号

Question

当 bing 尝试索引一些具有 unicode 字符的页面时，我的网站出现了很多错误。

例如:

http://www.example.com/kjøp 

Bing 正在尝试索引

http://www.example.com/kjøp

然后我收到错误“System.NullReferenceException:对象引用未设置为对象的实例。”因为没有这样的 Controller 。

Google 可以很好地处理此类链接。如何帮助 bing 理解挪威字母？

Answer 1

您可以通过像这样执行“INURL:”搜索来确认 Bing 没有正确地为这些 URL 编制索引... https://www.bing.com/search?q=inurl%3A%C3%B8

只有 6 个页面被编入索引，这不可能是正确的。

很遗憾，您将无法修复 Bing。但是，您可以通过对站点进行一些更改来弥补其缺点。这是您不应该处理的负担。然而，另一种选择是什么也不做，继续不正确链接页面。

对于包含此列表中的字符的 URL，Bing 可能会遇到问题... https://www.i18nqa.com/debug/utf8-debug.html

您的网络服务器需要查找包含这些字符的 URL 请求。然后，您将用正确的字符替换错误的字符，并执行 301 重定向到正确的页面。具体细节取决于您使用的是哪种服务器和编程语言。在您的情况下，很可能是 IIS 和 MVC，因此您很可能会查看 Microsoft 的 URL Rewrite 扩展。 https://www.iis.net/downloads/microsoft/url-rewrite

然而，在执行此操作之前，我会查看 Bing 的网站管理员工具可能提供的错误。 https://www.bing.com/toolbox/webmaster

另一种选择是不在您的 URL 中使用这些字符。我的建议是花时间使用错误到正确的翻译。 Bing 最终会解决这个问题，但这可能需要相当长的时间。