mobile - 为什么 Googlebot 会抓取未在任何地方引用的/mobile/* 和/m/* 页面？

Question

自 5 月底以来，我在网站站长工具/Google 搜索控制台的智能手机抓取错误页面中发现了很多新的 404 错误。所有这些都以/m/或/mobile/开头，它们都不存在，也没有链接到网站上的任何地方。

例如，我有一个 404 错误 http://www.example.com/mobile/foo-bar/和 http://www.example.com/m/foo-bar页。根据 Search Console，这些页面已链接到现有页面 http://www.example.com/foo-bar/ , 但他们不是。

Googlebot 是否自行决定寻找每个页面的移动版本？我可以禁用此行为吗？这是因为我的网站还不适合移动设备(我收到了来自 Google 的另一条警告消息)。

Answer 1

正如@Jonny 5 在评论中提到的，发生这种情况似乎是因为 Google 猜测您可能在 /m 和/或 中拥有您网站的移动版本/mobile 目录。据我所知，如果他们认为最初索引的页面不适合移动设备/响应，他们只会尝试这些目录。可以在这些 Google 产品论坛主题中找到有关此行为的更多信息:

• https://productforums.google.com/forum/#!topic/webmasters/k3TFeCkFE0Q
• https://productforums.google.com/forum/#!topic/webmasters/56CNFxZBFwE

另一个有用的评论来自@user29671，他指出您的网站实际上确实有一些带有 /m 和 /mobile 索引的 URL。我发现我的网站也是如此，因此这种行为也可能仅限于 Google(无论出于何种原因)将 /m 和/或 /mobile 编入索引的网站> 的网址。要测试这是否适用于您的网站，请转到以下 URL 并将 example.com 替换为您网站的域:

• https://www.google.com/search?q=site:example.com/m/&filter=0
• https://www.google.com/search?q=site:example.com/mobile/&filter=0

就防止这种情况发生而言，最好的办法是创建适合移动设备的网站版本，或者将 /m 和 /mobile 页面重定向回原始页面.