apache - 如何阻止Google机器人抓取特定页面

Question

已关闭。这个问题是 off-topic 。目前不接受答案。

---

想要改进这个问题吗？ Update the question所以它是on-topic用于堆栈溢出。

已关闭11 年前。

Improve this question

我的页面包含许多我不希望 Google 抓取的链接。有办法做到吗？

Answer 1

在 HTTP 根目录中创建一个 robots.txt 文件。如果您有一个网站 http://domain.com ，将 robots.txt 放到可以加载的位置 http://domain.com/robots.txt .

User-agent: *
Disallow: /somewhere_i_dont_want_google_to_crawl.php
Disallow: /dont_crawl_this_directory/

这里有一个真正实用的example在 Stack Overflow 网站上。