mod-rewrite - mod_rewrite 和冗余/旧 url，需要一些 SEO 最佳实践

Question

看看谷歌目前如何看待我们的网站，并得出结论......基本上，我们使用 URL 重写的沼泽标准结构来使它们看起来对 SEO 友好。

例如，产品 URL 的形式为 any string_([0-9]).html 等等。当然，这允许我们在产品 ID 之前链接到我们想要的任何内容……我们已经完成了。过去，产品页面是 Product_Name_79.html，然后变成了 Brand_Name_Product_Name_79.html。 apache 并不真正关心，在任何一种情况下都会传递 id 79。然而，谷歌现在有这个产品的 2 个版本缓存在不同的 URL 下——这不是一件好事，因为它继续到达第一个 URL 并抓取它。

同样的事情也适用于我们对品牌和类别的重写规则，其中一些已被删除，一些已被修改。

site:domain 中有超过 11k 个 url，而我们的站点地图只有 5.8k 个。你如何防止蜘蛛获取你不再链接到的旧版本的 url(考虑到这不是一个手动过程，而且通常这样的 url 可能是非常动态的)。

例如，Mens_Merrell_Trail_Running_Shoes__50-100__10____024/ 是 merrell 品牌的动态 URL，按价格在 trail running shoes 中的商品缩小范围50 和 100 以及 10 码，性别设置为 男装。

如果我们决定 nofollow 任何大小和货币过滤器 url，谷歌仍然能够通过其旧缓存访问它们...

禁止特定类型网址的最佳做法是什么？由于上面的组合几乎是无限的，我无法制作一个列表，而且它肯定不能根据谷歌历史上可能为我们保留的品牌和类别来回溯。

当应用这样的过滤器时，我们是否应该添加 noindex ？我们应该将它们导出到 robots.txt 吗？什么都不做，希望谷歌停止返回？

换句话说，我们有 2600 个产品页面 url 现在是多余的/禁用的，您会如何处理它们？重定向到主页，品牌页面，404，什么都不做？

谢谢你的建议

Answer 1

我认为您正在寻找 rel="canonical" ，谷歌应该开始忽略你的链接，如果他们真的没有链接。您可以使用如下工具检查任何传入链接:http://www.seomoz.org/linkscape .

此外，如果您的旧网址匹配(或不匹配)一致的模式，您可以在 apache 中为匹配旧模式或不匹配新模式的页面设置 301 重定向...

希望这对您有所帮助!