seo - Web 蜘蛛和 HTTP 身份验证

Question

我有一个需要通过 SSL 进行 HTTP 身份验证的管理应用程序。我已将管理应用程序的路径包含在我网站的 robot.txt 文件中。

我宁愿在任何地方都看不到管理应用程序的路径。 HTTP 身份验证是否会单独阻止网络蜘蛛将页面编入索引？

Answer 1

如果您使用合适的 4xx(但不是 HTTP 410 或 HTTP 404)HTTP 状态代码进行响应，那么是的，HTTP 身份验证将阻止谷歌将该页面编入索引。

参见:http://www.google.com/support/webmasters/bin/answer.py?answer=40132

另外你可以发送

X-Robots-Tag: noindex

HTTP header 以确保更加安全。

参见:http://code.google.com/web/controlcrawlindex/docs/robots_meta_tag.html

哦，是的，在 robots.txt 中包含 URL 使得 google 索引该页面的可能性更大……robots.txt 是一个抓取指令，它基本上说:不要获取该 url 的内容。所以谷歌不知道它是一个 HTTP 身份验证，但由于爬行对于索引是可选的(是的，真的)，该 url 可能(这是一个非常大的可能)无论如何都会在谷歌搜索结果中购物。我在这里更详细地解释了 google(bot) 漏斗 pages not indexed by Google

正确的 HTTP 状态 header 和 x-robot-tag 更适合确保 url 不会出现在 google 中(但如果 robots.txt 指令保持不变，则两者都无用)