个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
只是想知道是否可以禁止整个网站供爬虫使用并仅允许特定网页或部分？
FAST 和 Ultraseek 等爬虫支持“允许”吗？
最佳答案
有一个Allow Directive但是不能保证特定的机器人会支持它(就像不能保证机器人甚至会检查您的 robots.txt 一样)。您可能可以通过检查您的博客来判断特定机器人是否仅对您允许的网站部分进行索引。
仅允许您网站的特定页面或部分的格式可能如下所示:
Allow: /public/section1/
Disallow: /
关于Robots.txt 禁止一切，只允许网站/页面的特定部分。 Ultraseek 和 FAST 等爬虫支持 "allow"吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/393539/
24
4
0
我们已经让 Ultraseek 5.7 为我们公司内部网站上的内容建立索引，我们希望确保我们的网页正在针对它进行优化。 哪些 SEO 技术对 Ultraseek 有用，我在哪里可以找到关于这些功能的文
只是想知道是否可以禁止整个网站供爬虫使用并仅允许特定网页或部分？ FAST 和 Ultraseek 等爬虫支持“允许”吗？ 最佳答案 有一个Allow Directive但是不能保证特定的机器人会支持
我是一名优秀的程序员,十分优秀！