gpt4 book ai didi

.htaccess - 如何在 .htaccess 中仅允许 Google、MSN/Yahoo bot 访问

转载 作者:行者123 更新时间:2023-12-01 03:01:07 24 4
gpt4 key购买 nike

我需要帮助以仅允许 Google bot 和 Yahoo/MSN bot 通过 .htaccess 访问我的站点。非常感谢任何帮助。

对于谷歌我得到了,不确定这是否正确......允许来自 googlebot.com google.com google-analytics.com满足任何

最佳答案

我认为您这样做的原因可能值得怀疑,但真正做到这一点的唯一方法是通过报告的用户代理(一个 HTTP 请求 header ),而不是通过域 - 并且报告的用户代理很容易被欺骗任何人。 (这通常也通过 robots.txt 进行控制,但通常用于相反的目的 - 限制爬虫,而不是普通用户。)Google 和其他人用来抓取网站的服务器没有与您列出的名称相同的名称或 IP。

对于 Google,可以在 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=1061943 上找到一些额外的官方详细信息。 .雅虎和 MSN 将有类似的页面。

关于.htaccess - 如何在 .htaccess 中仅允许 Google、MSN/Yahoo bot 访问,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8628030/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com