kubernetes - 在 Ingress 上启用 IAP

Question

我已遵循有关 how to enable IAP on GKE 的文档.

我已经:

1. 配置同意屏幕
2. 创建 OAuth 凭据
3. 添加通用重定向网址
4. 将我自己添加为受 IAP 保护的 Web 应用用户

并像这样编写我的部署:

data:
  client_id: <my_id>
  client_secret: <my_secret>
kind: Secret
metadata:
  name: backend-iap-secret
type: Opaque
---
apiVersion: v1
kind: Service
metadata:
  name: grafana
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 3000
  selector:
    k8s-app: grafana
  type: NodePort
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: grafana
spec:
  replicas: 1
  template:
    metadata:
      labels:
        k8s-app: grafana
    spec:
      containers:
      - env:
        - name: GF_SERVER_HTTP_PORT
          value: "3000"
        image: docker.io/grafana/grafana:6.7.1
        name: grafana
        ports:
        - containerPort: 3000
          protocol: TCP
        readinessProbe:
          httpGet:
            path: /api/health
            port: 3000
---
apiVersion: cloud.google.com/v1beta1
kind: BackendConfig
metadata:
  name: backend-config-iap
spec:
  iap:
    enabled: true
    oauthclientCredentials:
      secretName: backend-iap-secret
---
apiVersion: networking.gke.io/v1beta1
kind: ManagedCertificate
metadata:
  name: monitoring-tls
spec:
  domains:
  - monitoring.foo.com
---
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    beta.cloud.google.com/backend-config: '{"default": "backend-config-iap"}'
    kubernetes.io/ingress.global-static-ip-name: monitoring
    networking.gke.io/managed-certificates: monitoring-tls
  name: grafana
spec:
  backend:
    serviceName: grafana
    servicePort: 443

当我查看我的入口时，我看到了:

$ k describe ingress
Name:             grafana
[...]
Annotations:  beta.cloud.google.com/backend-config: {"default": "backend-config-iap"}
              ingress.kubernetes.io/backends: {"k8s-blabla":"HEALTHY"}
              [...] 
Events:       <none>
$

我可以毫无问题地连接到网页，grafana 已启动并正在运行，但我也可以在未经身份验证的情况下连接(女巫是一个问题)。

所以一切看起来都很好，但是 IAP 没有激活，为什么？

最糟糕的是，如果我手动启用它，它可以工作，但如果我重做 kubectl apply -f reporting.yaml IAP 就会被禁用。

我错过了什么？

---

因为我的 secret 值存储在 secret 管理器中(并在构建时检索)，所以我怀疑我的 secret 中存在一些故障(空格、\n 等)，因此我添加了一个脚本来测试它:

gcloud compute backend-services update \
  --project=<my_project_id> \
  --global \
  $(kubectl get ingress grafana -o json | jq -r '.metadata.annotations."ingress.kubernetes.io/backends"' | jq -r 'keys[0]') \
  --iap=enabled,oauth2-client-id=$(gcloud --project="<my_project_id>" beta secrets versions access latest --secret=Monitoring_client_id),oauth2-client-secret=$(gcloud --project="<my_project_id>" beta secrets versions access latest --secret=Monitoring_secret)

现在 IAP 已通过正确的 OAuth 客户端正确启用，因此我的 secret 是“干净的”

顺便说一句，我还尝试像这样重命名 secret 变量(来自 client_id):* oauth_client_id* oauth-客户端-id* 客户端ID ( like in backend documentation )

我还在后端写入了这样的值:

kind: BackendConfig
metadata:
  name: backend-config-iap
spec:
  iap:
    enabled: true
    oauthclientCredentials:
      secretName: backend-iap-secret
      clientID: <value>
      clientSecret: <value>

但也不起作用。

---

勘误表:

当我再次部署时(在 Web UI 中启用它之后)IAP 被销毁，这一事实是我在此测试中的部署脚本的一部分(我之前做了 kubectl 删除)。

但是，我无法仅通过后端配置启用 IAP。

---

按照建议，我已提交错误报告:https://issuetracker.google.com/issues/153475658

---

Totem给出的解决方案

使用以下命令更改给定的 yaml:

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.global-static-ip-name: monitoring
    networking.gke.io/managed-certificates: monitoring-tls
  name: grafana
[...]
---
apiVersion: v1
kind: Service
metadata:
  name: grafana
  annotations:
    beta.cloud.google.com/backend-config: '{"default": "backend-config-iap"}'
[...]

后端与服务相关联，而不是与入口相关联...现在可以了!

Answer 1

你做的一切都是对的，只是做了一个小小的改变:需要在Service资源上添加注解

apiVersion: v1
kind: Service
metadata:
  annotations:
    beta.cloud.google.com/backend-config: '{"ports": { "443":"backend-config-iap"}}'
  name: grafana

通常您需要将其与端口关联，因此我在上面添加了此示例，但请确保它按预期与 443 配合使用。

这是基于我使用的内部示例:

beta.cloud.google.com/backend-config: '{"ports": { "3000":"be-cfg}}'