wordpress - 站点地图包含被 robots.txt 阻止的网址

Question

我们遇到过一种意外情况，我们的 Wordpress 网站将 robots.txt 设置为禁止抓取约 7 天。我现在正在尝试清理并且网站管理员工具说“站点地图包含被 robots.txt 阻止的网址。”在我调整了 robots.txt 并允许抓取之后。没有理由仍然会阻止 URL，并且当我访问示例时，它们看起来还不错。

Robots.txt 网址:http://bit.ly/1u2Qlbx

站点地图网址:http://bit.ly/1BfkSmx

根据网站管理员工具，我的 robots.txt 被阻止的 URL:http://bit.ly/1uLBRea或 http://bit.ly/1CsrHnr

Answer 1

不用担心，如果您再次启用这些 URL，Google 的网络爬虫会注意到并再次抓取您的网页。该消息将在几天内从 GWT 中消失。

最终，您可以使用 GWT 的相应功能测试您的 robots.txt。