Wordpress Robots.txt/feed 重要吗？

Question

我有一个关于 SEO、Robots.txt 和 wordpress 的问题

这是我的 robots.txt 的样子:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /feed
Disallow: /*/feed
Disallow: /wp-login.php
Disallow: /tag
Disallow: /trackback
Disallow: /*?*
Disallow: /archive/
Disallow: /rss/
Disallow: /about/trackback/
Disallow: /wp-register.php

在 Google 网站管理员工具中，我看到这样的 url 受到限制:

http://www.domain.com/date/article-title/feed/

这是因为我假设禁止/feed，现在真正的文章标题是相同的 url，但没有 '/feed/' http://www.domain.com/date/article-title/

我的问题是正确的 URL 是否仍会被搜索引擎编入索引？或者我应该从 robots.txt 中删除它吗？你如何看待 robots.txt 我做了一些搜索，找到了添加内容的提示并得出了它，但是当我查看更大的 wordpress 网站时，他们没有我机器人中的一半项目txt文件。

Answer 1

Feed 本身不会被编入索引，但如果 robots.txt 文件中未明确阻止其 URL，则其中包含的 URL 可以被编入索引。

只要您的所有博客文章都已编入索引，其他内容就可以毫无问题地被阻止。看起来某些被阻止的页面对用户和搜索引擎(即登录页面、引用页面)或潜在的重复内容问题(即存档、标签页)毫无用处。无用的页面应该被彻底屏蔽。我会让存档和标签页被抓取但不被索引。这样搜索引擎就可以跟踪这些页面上的链接，这将帮助他们找到您的所有内容。这不会用 robots.txt 来完成，而是 meta tag or HTTP header .