indexing - 为什么 Yahoo Indexing Bot 被视为 "evil"？

Question

阅读并评论此问题后 PHP Library for Keeping your site index by Google, Bing, etc ，我好奇地看了一下StackOverFlow的sitemap .这返回了一个 404 错误，我猜这只是一个 protected 页面，通过确定您是索引机器人还是根本不存在。

这让我看到了 robots.txt对于 StackOverFlow。我很惊讶地看到评论“雅虎机器人是邪恶的”以及其他几个索引机器人(Spinn3r 和 KSCrawler)。我不熟悉 Spinn3r 和 KSCrawler，但我的问题是，为什么这些机器人(尤其是雅虎)被认为是邪恶的？任何搜索引擎的任何和所有索引肯定是一件好事吗？

Answer 1

这些是非常具有攻击性的机器人，它们不会限制请求并且可以关闭站点。

见 this雅虎机器人示例的论坛主题。