seo - 允许抓取 Javascript 和 CSS 文件

Question

这是阻止还是允许 Google 机器人访问？

User-Agent: Googlebot
Allow: /*.js*

Allow: /*.css*

有人知道上面的 robots.txt 格式阻止或允许 Google Bot 访问吗？

Answer 1

您的规则会起作用，但可能是允许抓取 javascript 和 css 资源的最简单形式的允许规则:

User-Agent: Googlebot
Allow: .js
Allow: .css

这将允许像 https://example.com/deep/style.css?something=1 或 https://example.com/deep/javascript.js，并没有为其他搜索引擎留下太多的解释空间。但是，如果您有一个比一揽子允许规则更具体的禁止规则，那么它将优先。例如，如果您有:

User-Agent: Googlebot
Disallow: /deep/
Allow: .js
Allow: .css

然后允许规则将不起作用，因为 https://example.com/deep/javascript.js(但对于 https://example.com/javascript .js).要在通常不允许的目录中允许 JS 和 CSS 文件，您可以这样做:

User-Agent: Googlebot
Disallow: /deep/
Allow: /deep/*.js
Allow: /deep/*.css

完成后，您可以在 Search Console - 阻止的资源功能中测试您的设置。