wordpress - robots.txt 未更新

Question

今天我收到了一封来自网站管理员工具的电子邮件，指出“Googlebot 无法访问 CSS 和 JS 文件”。因此，我着手更新位于服务器根目录中的 robots.txt 文件。

原创内容:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM

Sitemap: http://example.com/sitemapindex.xml

我从文件中删除了“禁止:/wp-content/themes/”行并重新上传了文件，但是当我在浏览器中查看新文件时，没有任何改变，然后我做了以下操作:

从根目录中删除了 .txt 文件

已清除缓存(W3 总缓存)

但在我的浏览器中仍然可以看到 robots.txt。这可能只意味着一件事，文件是虚拟生成的，对吗？我什至在不同的浏览器中查看，以确保没有发生缓存。

经过大量搜索，我没有找到关于为什么我的 robots.txt 不会更新或它是从哪里生成的答案？

这里有人对发生的事情有任何想法吗？

我使用的一些插件:

更好的 WordPress 谷歌 XML 站点地图

W3 总缓存

Yoast 搜索引擎优化

任何帮助将不胜感激，谢谢。

Answer 1

经过几个小时的头疼试图弄清楚这一点，结果我完全忘记了我启用了 Cloudflare。该缓存的清除完成了这项工作。

希望我的几个小时的痛苦没有白费，并且提醒有类似问题的其他人通过阅读本文启用了 Cloudflare!