search-engine - 让搜索引擎爬虫通过却给用户多加一步，会不会被搜索引擎惩罚？

Question

我目前正在为一个项目工作，由于用户所在的区域，网站的几个部分可能会受到限制。因此，当用户访问该页面时，他会被重定向到一个表单，他必须填写该表单才能查看内容。

希望搜索引擎为内容编制索引，我正在为搜索引擎爬虫创建异常(exception)，以便它们可以轻松访问内容。

我正在从 this 中挑选一些搜索引擎页面，我的解决方案是检查爬虫的 IP 地址(可以在我链接的页面上找到)并基于该授予访问权限。

这个解决方案是否足够可行？我问这个是因为我读过 an article在官方 Google 网站管理员中心博客上建议对机器人执行 DNS 反向查找以匹配其真实性。

我必须指出，这没有安全隐患。

TL;DR 如果我在重定向用户时允许搜索代理机器人直接转到内容，我会受到惩罚吗？哪种方法更好？ (与成本/ yield 相关的用户代理、IP 地址或反向 DNS 查找)

Answer 1

答案是否定的

但一些用户也会通过谷歌缓存查看您的页面，绕过您的限制。