robots.txt - 请求机器人重新解析 robots.txt

Question

我正在编写一个将 youtube.com 映射到另一个域的代理服务器(因此用户可以轻松地从德国等国家/地区访问 youtube，而无需审查搜索结果和视频)。

不幸的是，我的 robots.txt 中存在错误。它现在已修复，但 Baiduspider 得到了我的旧 robots.txt 并且几天来一直在尝试为整个网站编制索引。因为 Youtube 是一个相当大的网站，我认为这个过程不会很快结束:-)

我已经尝试将 baiduspider 重定向到另一个页面并向其发送 404，但它已经解析到许多路径。

我该怎么办？

Answer 1

停止处理来自百度蜘蛛的请求

将 lighttpd 附加到 lighttpd.conf

$HTTP["useragent"] =~ "Baiduspider" {url.access-deny = ( "" )}

Baiduspider 迟早会重新获取 robots.txt(参见 http://blog.bauani.org/2008/10/baiduspider-spider-english-faq.html)