ASP.Net 身份验证和 Googlebot

Question

我有一个启用了表单例份验证的 ASP.Net 3.5 网站。是否可以让 Googlebot 抓取我的网站而不提示输入用户名/密码？

Answer 1

Google 声称不会索引页面并将其显示给不可用的用户，因为实际上它们会请求用户名和密码。

它可以提供仅由 AdSense 抓取 protected 页面的选项，以便他知道要在其上显示哪些广告

https://www.google.com/adsense/support/bin/answer.py?answer=37081

检查是否是机器人或来自 Google 机器人计算机的其他解决方案并不安全，因为它们很容易被用户欺骗，并且也可能无法显示页面的预览或缓存。

所以你需要考虑你的网站结构，什么是非常重要的，什么不是，显示页面的某些部分，如果用户没有注册则隐藏其他一些部分，这样谷歌就有一些东西可以索引，即使它是未登录。