gpt4 book ai didi

.htaccess - 防止抓取工具(尤其是 Google)抓取我域中的某个文件夹?

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:33:07 25 4
gpt4 key购买 nike

我正在寻找建议和方法;我在我的域中有一个文件夹,我正在其中测试某个登录页面;如果一切顺利,我可能会用这个登陆页面建立一个新的网站和域名,这就是我不希望它被抓取的主要原因,这样我就不会因为重复的内容而受到 Google 的惩罚。我也不希望不需要的机器人抓取此登录页面,因为它不会产生任何好处。这对你有意义吗?

如果是这样,我该怎么做?我不认为 robots.txt 是最好的方法,因为我知道并不是所有的爬虫都尊重它,甚至谷歌也可能不完全尊重它。我不能输入密码,因为登录页面应该对所有人开放(因此解决方案不能对人类访问者造成任何问题)。它会留下 .htaccess 文件吗?如果是这样,我应该在那里添加什么代码?有没有我没有发现的缺点?

谢谢!

最佳答案

使用robots.txt包含以下内容的文件:

User-agent: *
Disallow: /some-folder/

关于.htaccess - 防止抓取工具(尤其是 Google)抓取我域中的某个文件夹?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19792735/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com