gpt4 book ai didi

amazon-web-services - DCOS Mesos 代理无法从 S3 存储桶中检索私有(private)资源

转载 作者:行者123 更新时间:2023-12-04 08:01:45 24 4
gpt4 key购买 nike

我正在尝试通过 universe 包在 AWS 的 DC/OS 堆栈上部署应用程序。据我了解,mesos fetcher 将尝试检索这些资源并按照 marathon.json 中的定义将它们容器化。这些资源是私有(private)的,需要保持私有(private)。它们不是静态的,因此使用预签名的 url 很可能是不可能的。

我已经在包中定义了资源。当代理尝试解析资源时,他们会收到 403。

将 uri 定义为 http://s3domain/bucket/key或 https://返回 403。将 uri 定义为 s3://mesos fetcher 调用 hadoop(否则我们不需要它)

尝试使用 AWS CLI 从代理节点提取资源是可行的。 Mesos fetcher 也将成功获取任何公共(public)资源。

我见过一些使用 nginx 代理 s3 并在请求中嵌入 aws 凭证的解决方案。我看到的唯一其他解决方案是预先将所有内容容器化并将 s3 设置为 Docker 注册表。这些是解决问题的唯一方法吗?

最佳答案

来不及回答,但将来可能会对其他人有所帮助。

您可以按照以下步骤从 mesos/dcos 集群访问私有(private) s3 存储桶。

  • Create DCOS/mesos 的 VPC 端点。
  • 在存储桶中使用该端点 policy用于私有(private) s3 存储桶。
  • 为了测试,尝试从 mesos 节点使用 curl 访问 s3 资源,如果有效,那么您就可以开始了。

https://docs.aws.amazon.com/AmazonS3/latest/dev/example-bucket-policies-vpc-endpoint.html

关于amazon-web-services - DCOS Mesos 代理无法从 S3 存储桶中检索私有(private)资源,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44416776/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com