使用 Google Chrome 的 "network conditions"选项卡时，Firebase 托管为 Googlebot 用户代理返回 500 内部错误？

Question

我在 Firebase 网络应用程序(它是一个用 React 构建的单页应用程序)上进行了以下设置:

我正在为机器人用户代理做 SSR，所以他们得到完整呈现的 HTML 并且没有 Javascript

用户获得空的 HTML 并获得运行应用程序的 Javascript。

firebase.json

"rewrites": [{
  "source": "/**",
  "function": "ssrApp"
}]

基本上每个请求都应该进入我的 ssrApp功能，它将检测机器人爬虫用户代理，并决定它是响应机器人的 SSR 版本，还是普通用户的 JS 版本。

它按预期工作。 谷歌正在索引我的页面，我总是从我的 ssrApp 中记录一些关于用户代理的信息。功能。例如，当我在 Whatsapp 上共享 URL 时，我可以在来自 Firebase 控制台的日志中看到 Whatsapp 爬虫(见下文):



但奇怪的是，我无法使用 Chrome 的网络条件选项卡模仿 Googlebot:





当我尝试使用 Googlebot 的用户代理访问我的网站时，我收到了 500 - Internal error
还有我的 ssrApp函数甚至没有触发， 因为没有从它注销。

这是 Firebase Hosting 的内置保护，可以避免虚假的 Googlebots 吗？会发生什么？

注意:我试图模仿 Googlebot 的用户代理，因为我想在生产中检查我的应用程序的 SSR 版本。我知道还有其他方法可以做到这一点(包括一些 Google Search Console 工具)，但我认为这可行。

Answer 1

您能检查一下您的网页是否仍在 Google 索引中吗？我有完全相同的体验，我的 80% 的页面现在都消失了......
当我在 Google Search Console 中查找页面时 https://search.google.com/search-console它表示上次抓取期间出现问题。当我“实时测试”时，它会旋转并报告错误 500 并要求“稍后再试”...