googlebot - Googlebot 从哪里抓取？

Question

我一直在上下寻找 Googlebot 及其 sibling 从“CA”以外的位置抓取的位置，但没有找到特定于抓取的位置。我找到了 2008 年的数据中心 map (http://bit.ly/mONhf9)，我发现 Google 在其数据中心自称才华横溢，并附有精美的照片 (http://www.google.com/about/datacenters/)。

根据至少 3 年前的经验，我确实知道 ole' bot 也将来自 VA...但过去...什么都没有。

谁能帮忙解开这个谜语？我收集谷歌不想让我知道。

Answer 1

您的里程数会有所不同，但就我访问的最受欢迎的网站而言，抓取来自:

• 伊利诺伊州 (46.35%)
• 亚利桑那州 (15.68%)
• 威斯康星州 (14.95%)
• 弗吉尼亚 (11.85%)
• 加利福尼亚 (11.17%)

受到这些爬网攻击的 Web 服务器位于弗吉尼亚州的亚马逊。

在 map 上:http://www.chrisbrunner.com/2014/04/01/where-does-googlebot-crawl-from/(我无法直接发布它，因为这是我的第一篇文章。)

同样，其他人会有不同的体验，但这是我们在 2014 年 3 月观察到的情况。