search - 如何阻止所有搜索引擎、机器人抓取某些网址

Question

我想计算小部件上的广告点击次数。

我在 robots.txt 文件上使用过:

User-agent: *
Allow: /
Disallow: */ads_count/*

我还为该小部件中的所有链接添加了 nofollow。

但是许多机器人仍然跟踪该小部件中的网址。我已经获取客户端 IP 来计算 url，并且我有很多 IP 表单机器人。

Answer 1

您是否尝试删除 */ads_count 之前的 (*)？正如谷歌 SEO 文档所说，如果您想阻止所有机器人，就像您所做的那样:

User-agent: * // (to whom? (*) means all bots!
Disallow: /ads_count

Note that directives are case-sensitive. For instance, Disallow: /junk_file.asp would block http://www.example.com/junk_file.asp, but would allow http://www.example.com/Junk_file.asp. Googlebot will ignore white-space (in particular empty lines)and unknown directives in the robots.txt.