google-cloud-storage - 无法将 Dataproc 集群用于具有 GCS 的多用户，且用户访问权限受到限制

Question

@丹尼斯霍

Using non-default service account in Google Cloud dataproc

继续上面的问题

我想为多用户设置一个 dataproc 集群。由于 Dataproc 集群的计算引擎使用默认服务或自定义服务帐户凭据来使用 --properties core:fs.gs.auth.service.account.json.keyfile 连接到存储桶，因此不会与提交作业的用户主体没有任何关系，或者我找不到控制它的选项，这使得 dataproc 集群不安全并产生问题它引入了另一个间接级别多用户环境，当使用的 key 文件与主体不对应时。

就我而言，我们使用 gcloud dataproc jobs Submit hadoop 提交作业，因为我的想法是使用 IAM 角色控制对 dataproc 集群的访问，但在作业提交期间，用户主体不会转发hadoop 集群以及 gcloud cli 不会对客户端的存储桶执行任何访问验证，该作业始终以 root 用户身份执行。我可以知道如何将用户映射到他们的服务帐户吗？对于这种情况，您有什么解决方案吗？

我们需要的是用户使用gcloud dataproc jobs Submit hadoop提交的Hadoop MapReduce应该能够仅使用用户有权访问的存储桶或文件夹。

当前:

gcloud dataproc 作业(IAM - 用户主体) -> Dataproc 集群(IAM - 用户主体) -> strong> (SA 默认/自定义) -> 存储桶

如果用户有权向 Dataproc 集群提交作业可以使用服务帐户有权访问的任何存储桶。

必填:

gcloud dataproc 作业(IAM - 用户主体) -> Dataproc 集群(IAM - 用户主体) -> strong> (IAM - 用户主体) -> 存储桶

用户有权向 Dataproc 集群提交作业只能使用用户帐户有权访问的存储桶。

到目前为止我还没有找到办法。你能帮我一下吗

是否有解决此问题的方法或解决方案？

Answer 1

你可以试试这个:

1. 添加自定义角色，例如为BucketA创建roleA/为BucketB创建roleB
2. 将服务帐户或 IAM 分配给此角色。例如 user1,user2 角色A user1,user3 角色B
3. 通过编辑存储桶权限，将成员添加到特定角色，例如bucketA -> roleA

然后，有权向 Dataproc 集群提交作业的用户只能使用该用户帐户有权访问的存储桶。