google-cloud-platform - 是什么导致 'Cloud Run error: Internal system error, system will retry later' ？故障排除建议？

Question

我正在尝试将 Cloud Run 服务部署为我的开源项目测试的一部分。这是通过我们的自动化 CI/CD 系统完成的，之前已经成功运行了数百次。
Cloud Run 服务已创建，但第一个修订版从未部署。当我在 GCP Console 中查看新创建的服务时，它显示“云运行错误:内部系统错误，系统稍后会重试。”作为服务的主要状态消息。
失败的命令行是:

gcloud --configuration=adapt-cloud-gcloud-testing --quiet run deploy cloud-run-gen-name-a179e65d6fdfc19abc57e15df563d8cb --platform=managed --format=json --no-allow-unauthenticated --memory=128M --cpu=1 --image=gcr.io/adapt-ci/http-echo --region=us-central1 --port=5678 --set-env-vars=ADAPT_TEST_DEPLOY_ID=MockDeploy-aymb --args="-text,Adapt Test"

该命令的输出(注意: Creating Revision 后面的点继续):

Deploying container to Cloud Run service [cloud-run-gen-name-a179e65d6fdfc19abc57e15df563d8cb] in project [adapt-ci] region [us-central1]
Deploying new service...
Creating Revision....................................................................................................................

控制台中的 YAML 选项卡还为三个状态条件中的每一个显示相同的消息(见下文)。
为了排除故障，我也尝试过:

使用 GCP 控制台手动创建最基本的 Cloud Run 服务，使用入门文档中的示例容器，同时以项目和组织所有者的身份登录。我看到了同样的失败。我以前使用此帐户和项目以这种方式手动创建了服务，没有任何问题。

使用 GCP Console 在 中创建与上述相同的示例服务不同的项目 ，但具有相同的用户和相同的组织。这很成功，所以这个问题是特定于项目的。

我尝试了两个不同的美国地区，结果相同。

由于这通常是自动化的，我尝试查找任何超出的配额。在 Cloud Run 配额页面和整体配额页面上，我现在或过去都没有看到任何超出的配额。然而，这是一个我不太熟悉的领域，所以可能错过了一些东西。

在两天的过程中重试了几十次。

GCP 状态页面显示没有中断。

我应该采取哪些其他故障排除步骤来调查和解决此问题？
部分信息来自 YAML GCP Console 中失败服务的选项卡:

status:
  observedGeneration: 1
  conditions:
  - type: Ready
    status: Unknown
    message: 'Cloud Run error: Internal system error, system will retry later.'
    lastTransitionTime: '2020-10-08T21:07:20.844314Z'
  - type: ConfigurationsReady
    status: Unknown
    message: 'Cloud Run error: Internal system error, system will retry later.'
    lastTransitionTime: '2020-10-08T21:07:20.755212Z'
  - type: RoutesReady
    status: Unknown
    message: 'Cloud Run error: Internal system error, system will retry later.'
    lastTransitionTime: '2020-10-08T21:07:20.844314Z'
  latestCreatedRevisionName: cloud-run-gen-name-3bab80f75cfd57cf87ad89d9d2c18ba3-00001-fus

Answer 1

经过相当多的反复试验，我让一切都恢复了正常。
我做的第一件事是禁用 Cloud Run Admin API 并重新启用它。更改之后，我能够使用控制台中的示例容器创建服务，并以项目所有者的身份登录。我还能够使用 CLI 中的示例容器创建服务，并以 CI 服务帐户登录。但是，我的问题中的原始命令仍然具有与以前相同的行为。我不知道项目是如何进入这种状态的，以至于项目所有者无法使用 Cloud Run。
我做的第二件事是将我尝试使用的容器镜像 ( gcr.io/adapt-ci/http-echo ) 重新推送到 GCR。我推送了与之前完全相同的图像。这最终让 CI 系统成功创建了 Service。
作为我早期故障排除的一部分，我查看了该项目的 Google Container Registry 并确认所需的镜像仍然存在。但是，我们最近在 Cloud Storage 存储桶上启用了生命周期策略，以删除超过一定时间的项目。所以我最好的猜测是政策删除 一些，但不是全部 与 gcr.io/adapt-ci/http-echo 相关联的文件图像，这导致了内部错误，而不是说找不到容器图像的错误。