gpt4 book ai didi

web-crawler - "Disallow:/sitepanel/and Disallow:/cgi-bin/"有什么用?

转载 作者:行者123 更新时间:2023-12-04 16:33:36 29 4
gpt4 key购买 nike

我见过一些网站在他们的 robots.txt 文件中使用“禁止:/sitepanel/或禁止:/cgi-bin/”。我知道我们使用“禁止:”来阻止搜索引擎爬虫抓取特定的网页或目录,但我不明白为什么我们需要禁止“/cgi-bin/或/sitepanel”目录?
在这方面的任何帮助将不胜感激。提前致谢。

最佳答案

正如您所说,搜索引擎将停止抓取此页面。

这样做有两个好处:

  • 此页面永远不会出现在搜索结果中。您不希望用户轻松访问它们。
  • 搜索引擎可以专注于您的重要页面,而不会白白浪费抓取预算。
  • 关于web-crawler - "Disallow:/sitepanel/and Disallow:/cgi-bin/"有什么用?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58192051/

    29 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com