azure - 如何为Azure Keyvault + SecretProviderClass + imagePullSecrets + 私有(private)docker存储库配置部署文件

Question

如何为 Azure Keyvault + SecretProviderClass + imagePullSecrets+ 私有(private) Docker 存储库的组合配置部署文件。

我们有私有(private) Docker 存储库来维护镜像，现在我们需要在 Azure key 保管库中维护该 Docker 存储库的凭据，使用 SecretProviderClass 将其导入 AKS，在“imagePullSecrets”下使用该 secret

# This is a SecretProviderClass example using system-assigned identity to access your key vault
apiVersion: secrets-store.csi.x-k8s.io/v1
kind: SecretProviderClass
metadata:
  name: azure-kvname-system-harbor
spec:
  provider: azure
  secretObjects:
  - secretName: harborcredentialvault
    data:
    - key: harborcredentialvaultkey
      objectName: harborcredentialvault
    type: kubernetes.io/dockerconfigjson
  parameters:
    usePodIdentity: "false"
    useVMManagedIdentity: "true"    # Set to true for using managed identity
    userAssignedIdentityID: ""      # If empty, then defaults to use the system assigned identity on the VM
    keyvaultName: "<Keyvault name>"
    cloudName: ""                   # [OPTIONAL for Azure] if not provided, the Azure environment defaults to AzurePublicCloud
    objects:  |
      array:
        - |
          objectName: harborcredentialvault
          objectType: secret        # object types: secret, key, or cert
          objectVersion: ""         # [OPTIONAL] object versions, default to latest if empty
    tenantId: "<tenant ID>"           # The tenant ID of the key vault

        - name: harborcredentialvault
          valueFrom: 
            secretKeyRef:
              name: keyvault-secret
              key: harborcredentialvaultkey
      imagePullSecrets:
       - name: ${harborcredentialvault}
        volumeMounts:
         - mountPath: "/mnt/secrets-store"
           name: secrets-store01-inline
           readOnly: true
       - name: secrets-store01-inline
         csi:
           driver: secrets-store.csi.k8s.io
           readOnly: true
           volumeAttributes:
             secretProviderClass: "azure-kvname-system-harbor"

Answer 1

由于您没有提供真正的问题或错误，因此我的回答会有点笼统:

对于 AKS/KeyVault 集成，重要的是要了解您正在使用节点池的 Kubelet 身份访问 Key Vault，而不是使用 AKS 的托管身份(如 here 中所述)。 。因此，如果您使用托管身份，userAssignedIdentityID 不应为空。

因此，我们需要向 Kubelet Identity 授予对 Key Vault 的访问权限，例如如下所示:

export KUBE_ID=$(az aks show -g <resource group> -n <aks cluster name> --query identityProfile.kubeletidentity.objectId -o tsv)
export AKV_ID=$(az keyvault show -g <resource group> -n <akv name> --query id -o tsv)
az role assignment create --assignee $KUBE_ID --role "Key Vault Secrets Officer" --scope $AKV_ID

$KUBE_ID 的结果还需要添加到 SecretProviderClass:

userAssignedIdentityID: "RESULT"

来自此官方example这里您的 SecretProviderClass 看起来很适合这个用例。

这将是 pod 配置:

spec:
  containers:
  - name: demo
    image: demo
    volumeMounts:
    - name: secrets-store-inline
      mountPath: "/mnt/secrets-store"
      readOnly: true
  imagePullSecrets:
    - name: harborcredentialvault
  volumes:
  - name: secrets-store-inline
    csi:
      driver: secrets-store.csi.k8s.io
      readOnly: true
      volumeAttributes:
        secretProviderClass: "azure-kvname-system-harbor"

这应该将 Key Vault key 同步到 Kubernetes key 。这也是documentation .

您应该考虑的一件事是= 只有在启动安装 secret 的 Pod 后， secret 才会同步。因此，仅仅依靠与 Kubernetes secret 功能同步是行不通的。

话虽这么说，您可能需要另一个具有公共(public)镜像的 pod 来同步集群的私有(private)拉取 secret ，因为您的 pod 无法启动，因为它无法从您的私有(private)注册表中拉取镜像。