apache - 防止 googlebot 索引 robots.txt 和 .htaccess 中的文件类型

Question

Stack Overflow 上有很多关于如何防止 google bot 编制索引的问题，例如 txt 文件。有这个:

robots.txt

User-agent: Googlebot Disallow: /*.txt$

.htaccess

<Files ~ "\.txt$">
     Header set X-Robots-Tag "noindex, nofollow"
</Files>

但是，当试图阻止两种类型的文件被索引时，这两种方法的语法是什么？在我的例子中 - txt 和 doc。

Answer 1

在您的 robots.txt 文件中:

User-agent: Googlebot
Disallow: /*.txt$
Disallow: /*.doc$

Google 网站管理员的更多详细信息:Create a robots.txt file

---

在您的 .htaccess 文件中:

<FilesMatch "\.(txt|doc)$">
    Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

此处有更多详细信息:http://httpd.apache.org/docs/current/sections.html