CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章apache禁止搜索引擎收录、网络爬虫采集的配置方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

Apache中禁止网络爬虫，之前设置了很多次的，但总是不起作用，原来是是写错了，不能写到Dirctory中，要写到Location中 。

  。

  。

这是禁止了所有包含spider字符的爬虫。 如果要针对性的禁止爬虫，改成精确匹配的爬虫字符串，如果bingbot、Googlebot等等 。

最后此篇关于apache禁止搜索引擎收录、网络爬虫采集的配置方法的文章就讲到这里了,如果你想了解更多关于apache禁止搜索引擎收录、网络爬虫采集的配置方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。