seo - GoogleBot 超时前多久？

Question

背景

我目前正在使用 Google 的#! 方法通过代理和 PhantomJS 的组合为一个动态网站设置 SEO 索引。我们的 Web 应用程序不仅托管我们自己的应用程序，还托管由第三方提供的任意数量的应用程序。由于我无法控制这些应用程序(因此无法控制它们的加载时间)，因此在处理 GoogleBot 查询时我现在面临两种选择:

1. 缓存生成的 HTML 并将缓存的响应返回给 GoogleBot。在每次 GoogleBot 请求时刷新缓存，但返回陈旧的响应
2. 使用基于时间的缓存机制。到期时，GoogleBot 会收到新生成的响应

显然我更愿意选择 (2)，但我担心 GoogleBot 在读取已抓取的 HTML 之前会超时。

问题

GoogleBot 请求多久会超时？

Answer 1

简答

Google 会惩罚响应时间较慢的网页，因此最好在 Google 获取内容之前主动生成和缓存内容。

长答案

正如@ArtjomB 在评论部分指出的那样，(2) 永远不会成为一种选择，因为谷歌会惩罚响应时间较长的页面。 (1) 仅当索引信息对时间不敏感时才是一个选项。

更好的选择是未说明的第三个选项:在任何 GoogleBot 抓取之前主动重新索引和缓存内容的 cron-job，尽管这显然是有代价的，因为 X% 的重新索引可能最终永远不会被由 GoogleBot 获取。