ruby-on-rails-4 - 当 Controller 路径仅为管理员时，搜索引擎会看到 URL 吗？

Question

我正在处理我网站的 SEO，我有几个用于授权页面的 url:https://www.example.com/grant/@grant.name

出于某种原因，我的资助都没有出现在搜索结果中，包括像尖叫 Frog 这样的 SEO 测试人员。任何人都可以通过 gong 到 url 查看任何资助页面:grant/@grant.name 但索引 (/grant) 仅限管理员。这与我的授权页面未显示在搜索引擎中有什么关系吗？如果是，使用浅根会有帮助吗？所以 url 将是 https://www.example.com/@grant.name 索引正在进行中，所以我不能公开它，否则这将是我的第一个解决方案.

谢谢!

Answer 1

您是否链接到搜索引擎可以访问的任何地方的这些页面，以便网络爬虫可以找到它？

您是否考虑过设置站点地图？

您检查过 robots.txt 了吗？以防万一它被阻止(不太可能)

在我看来，网络爬虫还没有进入您的页面，您可以过滤您的访问日志以查看它们去了哪里，但您所说的一切都让我相信他们会找到您的页面..