seo - 谷歌 : Disable certain querystring in robots. 文本

Question

http://www.site.com/shop/maxi-dress?colourId=94&optId=694
http://www.site.com/shop/maxi-dress?colourId=94&optId=694&product_type=sale

我有成千上万个像上面这样的 URL。不同的组合和名称。我还有这些 URL 的副本，它们具有查询字符串 product_type=sale

我想禁止 Google 使用 product_type=sale 将任何内容编入索引

这在 robots.txt 中是否可行

Answer 1

Google 支持 robots.txt 中的通配符。 robots.txt 中的以下指令将阻止 Googlebot 抓取具有任何参数的任何页面:

Disallow: /*?

这不会阻止许多其他蜘蛛抓取这些 URL，因为通配符不是标准 robots.txt 的一部分。

Google 可能会花时间从搜索索引中删除您阻止的 URL。额外的 URL 可能仍会被索引数月。在网站管理员工具被阻止后，您可以使用网站管理员工具中的“删除 URL”功能来加快该过程。但这是一个手动过程，您必须在其中粘贴要删除的每个单独的 URL。

在 Googlbot 找不到不带参数的 URL 版本的情况下，使用此 robots.txt 规则也可能会损害您网站的 Google 排名。如果您通常使用参数链接到版本，您可能不想在 robots.txt 中阻止它们。最好使用下面的其他选项之一。

---

更好的选择是使用 rel canonical meta tag在您的每个页面上。

因此，您的两个示例 URL 的头部部分都将包含以下内容:

<link rel="canonical" href="http://www.site.com/shop/maxi-dress">

这会告诉 Googlebot 不要为页面的太多变体编制索引，而只会为您选择的 URL 的“规范”版本编制索引。与使用 robots.txt 不同，Googlebot 仍然能够抓取您的所有网页并为其分配值(value)，即使它们使用各种 URL 参数也是如此。

---

另一种选择是登录 Google Webmaster Tools并使用“抓取”部分中的“URL 参数”功能。

在那里，单击“添加参数”。您可以将“product_type”设置为“不影响页面内容”，这样 Google 就不会使用该参数抓取和索引页面。

对您使用的每个不会更改页面的参数执行相同的操作。