gpt4 book ai didi

Robots.txt 不工作

转载 作者:行者123 更新时间:2023-12-04 15:04:31 25 4
gpt4 key购买 nike

关闭。这个问题是off-topic .它目前不接受答案。












想改善这个问题吗? Update the question所以它是 on-topic对于堆栈溢出。

9年前关闭。




Improve this question




我已使用 robots.txt 限制我网站中的文件夹之一。该文件夹由正在 build 中的站点组成。谷歌已将所有处于测试阶段的网站编入索引。所以我使用robots.txt。我首先提交了网站并启用了 robots.txt。现在 www.mysite.com/robots.txt 的状态为成功。但是谷歌仍然列出那些测试链接。这是我为 robots.txt 编写的代码...

User-agent: *
Disallow: /foldername/

谁能告诉我可能是什么问题?提前致谢

最佳答案

您是否按照 Google 的说明测试了 robots.txt?
http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

To test a site's robots.txt file:
  • On the Webmaster Tools Home page, click the site you want.
  • Under Site configuration, click Crawler access
  • If it's not already selected, click the Test robots.txt tab.
  • Copy the content of your robots.txt file, and paste it into the first box.
  • In the URLs box, list the site to test against.
  • In the User-agents list, select the user-agents you want.


站长工具: https://www.google.com/webmasters/tools/home?hl=en

关于Robots.txt 不工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3664500/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com