个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
26
4
我们在 EC2 和 EC2 实例上运行 Hadoop 集群，该实例附加到可以访问 S3 存储桶的角色，例如:“stackoverflow-example”。
几个用户正在集群中放置 Spark 作业，我们过去使用 key 但不想继续并希望迁移到角色，因此放置在 Hadoop 集群上的任何作业都将使用与 ec2 实例关联的角色。做了很多搜索，发现了 10+ 张门票，其中一些仍然开放，一些已经固定，一些没有任何评论。
想知道是否仍然可以将 IAM 角色用于放置在 Hadoop 集群上的作业(Spark、Hive、HDFS、Oozie 等)。大多数教程都在讨论传递 key (fs.s3a.access.key、fs.s3a.secret.key)，这不够好，也不安全。我们还遇到了 Ambari 凭证提供程序的问题。
一些引用资料:
https://issues.apache.org/jira/browse/HADOOP-13277
最佳答案
您链接到 HADOOP-13277 的第一个说“我们可以拥有 IAM 吗？” JIRA 已关闭“你在 s3a 中有这个”。第二个是 HADOOP-9384，是“将 IAM 添加到 S3n”，关闭为“切换到 s3a”。还有 SPARK-16363？错误报告不完整。
如果您使用 S3a，并且不设置任何 secret ，则 s3a 客户端将退回到查看特殊的 EC2 实例元数据 HTTP 服务器，并尝试从那里获取 secret 。
它:它应该可以正常工作。
关于hadoop - 为 S3 提供基于 Hadoop/Spark IAM 角色的访问的正确方法是什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42240980/
26
4
0
我正在尝试对人们可以启动的实例类型设置一些限制。我有以下政策 { "Version": "2012-10-17", "Statement": [ { "Effect": "Al
我是 AWS 和 IAM 的新手，并试图了解角色和信任关系。 我完全理解为什么要使用角色，如何创建它们以及它们的用例。 我不明白的是信任关系步骤。在我见过的几乎所有情况下，它都是一对一的关系。 EC2
我创建了一个名为 ab-role 的 IAM 角色。此角色的默认路径是/。 我想将路径更改为/service-role/之类的内容。如何更改 IAM 角色的根路径。 最佳答案 我不相信你可以“改变”现
有时，我需要访问多个 AWS 资源，我可以通过单独的 IAM 角色单独访问这些资源。如果我需要一起使用这些资源，我目前必须找出一个非本地连接器。 如果我可以同时访问这些资源，有时我可以使用 AWS 连
我正在关注 StarCluster configuration instructions我想创建一个新用户供 StarCluster 使用。我的问题是 StarCluster 运行所需的最小 IAM
本页https://www.terraform.io/docs/providers/aws/r/iam_role.html提到: NOTE: This assume_role_policy is ve
我正在尝试做的(继续我之前提出的问题:How can I filter AWS Instances by IAM role in powershell and get the private ip a
我们目前正在使用 G Suite 作为我们的 AWS SAML 访问的 IDP，它在少数账户中承担一个角色，让我们的 G Suite 用户能够访问某些 AWS 资源。每个帐户都有一个名称相似的角色，G
地形版本 Terraform v0.7.8 Terraform v0.7.11 受影响的资源 aws_iam_user Terraform 配置文件 我正在尝试使用列表来管理 IAM 用户: vari
我们有多个团队共享一个公共(public) AWS 生产账户。我们希望每个团队都有一个自己的 IAM 角色，使他们能够创建几乎所有类型的资源 (AdministratorAccess)。但是为了分开团
我们希望我们的开发人员能够创建可以部署其服务的代码管道。这意味着他们需要能够为代码管道步骤创建 IAM 角色。 这意味着我们需要为开发人员提供 IAM 功能。有没有办法限制这种情况，使他们可以创建的
问题 lambda 函数的 IAM 角色是否需要 IAM 权限才能调用自身？ 背景 阅读 Tutorial: Process New Items with DynamoDB Streams and L
我有一个具有 s3 只读权限的 AWS 角色。我已经为 AWS 用户配置了 aws cli。所以我想使用同一个用户在 aws cli 中浏览 s3 文件。我所做的是为角色添加了 root 用户的信任关
根据AWS官方documentation ，IAM 角色也可以附加到 IAM 用户，而不仅仅是服务。 将 IAM 角色分配给 IAM 用户的有效用例是什么？ 直接向用户授予(允许/拒绝)IAM 策略是
我的开发人员有一些管理帐户，他们应该能够管理所有 aws 资源，但不应该能够管理用户/root 属性。因此，我通过以下策略限制了对 IAM 的访问: { "Version": "2012-10-1
IAM 角色和 IAM 用户有什么区别？ IAM FAQ有一个条目解释它，但它是模糊的，不是很清楚: An IAM user has permanent long-term credentials a
我正在使用云形成创建 IAM 用户，但出现以下错误: “API:iam:CreateUser 用户:arn:aws:sts::11111111111:assumed-role/MyCloudForma
我尝试更改云形成中的 iam 组名称，并且创建了新组名称，但旧组名称没有被删除。这是预期的吗？我应该手动删除这些吗？看起来它应该自动摆脱旧的。检查 aws 控制台中的堆栈信息表明一切已成功完成。 谢谢
我有一个问题， 我使用elastic beanstalk部署python django 当eb init时，我使用根访问 key ID和 secret 访问 key 来创建实例 最近我读了有关 IAM
我正在尝试部署一个 AWS Lambda 函数，该函数在将 AVRO 文件写入现有 S3 存储桶时触发。 我的 serverless.yml配置如下: service: braze-lambdas p
我是一名优秀的程序员,十分优秀！