robots.txt - 为什么在javascript文件上使用robot.txt？

Question

您是否有任何理由应该或不应该允许访问 javascript 或 css 文件？特别是常见的文件，如 jquery。

Answer 1

人们普遍认为，搜索引擎每天为给定站点分配一定数量的带宽或 URL。因此，一些网站管理员喜欢阻止来自搜索引擎的 JS、CSS 和样板图像以节省带宽，因此 Google 或 Bing 将抓取更多页面而不是不必要的图像。

Google 员工 Matt Cutts 过去曾要求网站管理员不要这样做 (http://www.seroundtable.com/googlebot-javascript-css-14930.html)。

Google 似乎想确切地知道您的网站在使用和不使用 JavaScript 时的行为方式。有大量证据表明，他们正在渲染整个页面，以及执行在 PageLoad 上执行的其他 javascript(例如 Facebook 评论)。

如果您阻止甚至常见的 jQuery 文件，Google 真的不知道它是否是常见的 jQuery 实现，或者您是否修改了核心文件，从而修改了体验。

我的建议是确保您的所有 JS、CSS 和样板图像都通过单独的域或 CNAME 提供。我会通过日志和 Google Webmaster Tools 监控 Googlebot 的抓取情况，并观察他们是否花费大量时间和带宽来抓取这些 Assets 。如果没有，那就让他们继续爬行吧。

由于每个站点的行为不同，您可以尝试并阻止一些占用大量带宽的请求量更大的文件……然后观察 Google 的“抓取的页面”是否增加。