gpt4 book ai didi

elasticsearch - 使用 ServiceAccount 到 IAM 角色映射在 Kubernetes 中运行 Elasticsearch 时出现 S3 连接问题

转载 作者:行者123 更新时间:2023-12-02 11:46:26 25 4
gpt4 key购买 nike

当我尝试将在 Kubernetes 中运行的 Elasticsearch 7.8.0 实例连接到 S3 存储桶作为备份存储时,我遇到了一个问题。安装如下。
有一个 Elasticsearch 部署为自定义资源 (ECK)。
然后,用于执行此资源部署的 pod 的 ServiceAccount 与有权访问目标存储桶进行备份的 IAM 角色之间存在信任关系。然后我创建了一个 AWS S3 类型的快照存储库,并将该存储桶作为目标。但是当我尝试验证存储库时,我收到了拒绝访问错误。
据我所见,根据 ECK 原始文档 Create automated snapshots假设访问存储桶的凭据是通过 Keystore 存储的。但我也看到我的 Elasticsearch 版本使用的 AWS 开发工具包应该支持从 ServiceAccount 获取凭证:https://github.com/elastic/elasticsearch/blob/v7.8.0/plugins/repository-s3/build.gradle#L31 (Using a supported AWS SDK)
因此我想知道为什么这些组件没有按预期工作。有没有人尝试建立类似的配置? Elasticsearch 中是否有任何基本问题阻止它从 ServiceAccount 获取凭据?
因为涉及的实体数量比较多,所以我试图概括地描述这个案例。请让我知道这种情况是否需要有关实体配置的更多详细信息。
--- UPD
这是一个 pod 规范的示例:

kind: Pod
apiVersion: v1
metadata:
name: logging-elasticsearch-es-default-0
generateName: logging-elasticsearch-es-default-
namespace: elastic-logging
selfLink: /api/v1/namespaces/elastic-logging/pods/logging-elasticsearch-es-default-0
uid: 29ff69cc-9c01-448d-821e-d0da26cd2ba6
resourceVersion: '1950203'
creationTimestamp: '2020-07-15T15:38:40Z'
labels:
common.k8s.elastic.co/type: elasticsearch
controller-revision-hash: logging-elasticsearch-es-default-78fd9d9d45
elasticsearch.k8s.elastic.co/cluster-name: logging-elasticsearch
elasticsearch.k8s.elastic.co/config-hash: '2541120219'
elasticsearch.k8s.elastic.co/http-scheme: https
elasticsearch.k8s.elastic.co/node-data: 'true'
elasticsearch.k8s.elastic.co/node-ingest: 'true'
elasticsearch.k8s.elastic.co/node-master: 'true'
elasticsearch.k8s.elastic.co/node-ml: 'true'
elasticsearch.k8s.elastic.co/statefulset-name: logging-elasticsearch-es-default
elasticsearch.k8s.elastic.co/version: 7.8.0
statefulset.kubernetes.io/pod-name: logging-elasticsearch-es-default-0
annotations:
co.elastic.logs/module: elasticsearch
kubernetes.io/psp: eks.privileged
update.k8s.elastic.co/timestamp: '2020-07-15T15:42:46.115776158Z'
ownerReferences:
- apiVersion: apps/v1
kind: StatefulSet
name: logging-elasticsearch-es-default
uid: 34a0109c-708b-402c-96b9-89c3e292a6a6
controller: true
blockOwnerDeletion: true
spec:
volumes:
- name: aws-iam-token
projected:
sources:
- serviceAccountToken:
audience: sts.amazonaws.com
expirationSeconds: 86400
path: token
defaultMode: 420
containers:
- name: elasticsearch
image: 'docker.elastic.co/elasticsearch/elasticsearch:7.8.0'
env:
- name: AWS_ROLE_ARN
value: 'arn:aws:iam::<account_id>:role/AWSS3ElkSnapshotBucket'
- name: AWS_WEB_IDENTITY_TOKEN_FILE
value: /var/run/secrets/eks.amazonaws.com/serviceaccount/token
volumeMounts:
- name: aws-iam-token
readOnly: true
mountPath: /var/run/secrets/eks.amazonaws.com/serviceaccount
--- UPD 2
这是用于执行 pod 的 ServiceAccount 示例。
kind: ServiceAccount
apiVersion: v1
metadata:
name: default
namespace: elastic-logging
selfLink: /api/v1/namespaces/elastic-logging/serviceaccounts/default
uid: 7e97ac47-d893-4425-9da7-ef87848714e8
resourceVersion: '1894373'
creationTimestamp: '2020-07-07T13:08:01Z'
annotations:
eks.amazonaws.com/role-arn: 'arn:aws:iam::<account_id>:role/AWSS3ElkSnapshotBucket'
secrets:
- name: default-token-q5qft

最佳答案

因此,看起来官方文档显示了如何使用 GCS 将其与服务帐户绑定(bind),这是有道理的,因为 GCP 也有这个服务帐户的概念。
因为 AWS 有点不同,您通常会关联一个角色或担任一个具有正确权限的角色。 This is a good guide关于如何将它用于 Kubernetes 以及它现在是如何得到官方支持的。我相信 ECK 运算符不支持它,因为 the docs say S3 存储插件使用 EC2 或 ECS IAM 角色。这很奇怪,因为您想使用 S3 类型的角色来访问 S3。
文档中的内容是如何使用 AWS 用户而不是角色来访问 S3:

  • Client Settings
  • 使用 AWS secret 访问 key 和 AWS 用户 key ID
  • 的 keystore

  • Repository Settings

  • 如果您以这种方式配置插件,您应该能够访问 S3,前提是用户对您要存储快照的 S3 存储桶具有写入权限。

    关于elasticsearch - 使用 ServiceAccount 到 IAM 角色映射在 Kubernetes 中运行 Elasticsearch 时出现 S3 连接问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62918736/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com