seo - Robots.txt 特定排除

Question

目前我的robots.txt如下

#Sitemaps
Sitemap: http://www.baopals.com.com/sitemap.xml

#Disallow select URLs
User-agent: *
Disallow: /admin/
Disallow: /products/

我的产品有很多重复的内容，因为我从 taobao.com 提取数据并自动翻译它，导致大量重复和低质量的名称，这就是为什么我只是禁止整个事情。但是我手动更改某些产品的标题并将它们重新保存到数据库并在主页上展示它们并进行适当的翻译它们仍然会保存回 /products/ 并在我删除时永远丢失他们来自主页。

我想知道是否可以让我保存到主页的更新翻译的产品仍然被谷歌索引，或者我是否被迫更改手动更新产品的目录？

Answer 1

一些机器人(包括 Googlebot)支持 Allow field 。这允许您指定无论如何都应允许抓取的路径。

所以你必须添加一个 Allow您希望抓取的每个产品的行。

User-agent: *
Disallow: /admin/
Disallow: /products/
Allow: /products/foo-bar-1
Allow: /products/foo-foo-2
Allow: /products/bar-foo

但是您可能不想禁止抓取您的产品页面，而是禁止索引。然后仍然允许机器人访问您的页面并跟踪链接，但它不会将页面添加到其搜索索引中。

添加<meta name="robots" content="noindex" />到每个产品页面(在 head 中)，并为每个要索引的产品页面删除它(或将其更改为 index)。还有一个相应的 HTTP header ，如果这对您来说更容易的话。