个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
将凭据传递给 Dataflow 作业的正确方法是什么？
我的一些 Dataflow 作业需要凭据才能进行 REST 调用和获取/后处理数据。
我目前正在使用环境变量将凭据传递给 JVM，将它们读入一个 Serializable 对象并将它们传递给 DoFn 实现的构造函数。我不确定这是正确的方法，因为任何可序列化的类都不应该包含敏感信息。
我想到的另一种方法是将凭证存储在 GCS 中并使用服务帐户 key 文件检索它们，但想知道为什么我的工作要执行从 GCS 读取凭证的任务。
最佳答案
Google Cloud Dataflow 没有对传递或存储安全 secret 的 native 支持。但是，您可以使用 Cloud KMS 和/或 GCS，因为您建议使用 Dataflow 服务帐户凭据在运行时读取 secret 。
如果您在运行时从 DoFn 读取凭证，您可以使用 DoFn.Setup 生命周期 API 读取一次值并在 DoFn 的生命周期内缓存它.
您可以在此处了解 Google Cloud 中 secret 管理的各种选项:Secret management with Cloud KMS .
关于google-cloud-platform - 向 Google Dataflow 作业发送凭据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49532987/
25
4
0
我创建了一个训练作业，我从大查询中获取数据、执行训练和部署模型。我想在这两种情况下自动开始训练: 向数据集添加了 1000 多个新行 有时间表(例如，每周一次) 我检查了 GCP Cloud Sche
我遇到以下警告: WARNING: You do not appear to have access to project [$PROJECT] or it does not exist. 在本地运行
我正在使用 Google Cloud Platform，我必须使用 java 非 Web 应用程序访问云功能，就像我尝试使用 Google Cloud Storage JSON API 从 Googl
我的问题是第三方开发人员如何通过我的身份平台登录用户？我查看了文档，但一无所获。 本质上，我想将 Identity Platform 用作 OIDC 提供者，但我不知道这是否受支持。 最佳答案 Clo
在我去这里的过去 12 个小时左右: https://console.developers.google.com/apis/credentials?project=MYPROJECTNAME 我只是得
我正在尝试创建一个 python 脚本来在 linux 机器上自动安装和配置某些程序。 我的想法是使用平台和多处理库来询问系统信息(platform.system、platform.linux_dis
我正在尝试创建没有控制台网页的 Google Cloud Platform 项目，因为我考虑创建多个项目。 因为我查了gcloud，目前只支持project describe和list。 https:
我正在使用 Google Cloud Scheduler 调用外部应用程序。 Google Cloud Scheduler 使用 OIDC 身份验证并使用服务帐户。我只能从 Google 服务帐户 U
如何在我的 Google Cloud Platform 帐户上启用 Google Authenticator 双重身份验证？我在 Web 界面中上下查看了“IAM 和管理员”，但没有看到在帐户上启用
我们在 Google Cloud 上设置了一个虚拟机，并希望能够自动或计划打开和关闭它。 我们内部有自动脚本，之后可以完成工作，到目前为止，我在 google 的文献中读到的更多与这些实例有关，但我找
我试图删除一个 GCP 项目，但不断弹出以下错误。 Lien origin You cannot delete this project because it is linked with a Dia
我从 Google Domains 购买了一个域，称为 example.com。 我已订阅 G Suite 基本版并创建了一个 admin@example.com 帐户以在 GCP 上使用，而不是我的
我构建了一个包含许多并行进程的 AI Platform 流水线。每个流程都会在 AI Platform 上启动一个训练作业，如下所示: gcloud ai-platform jobs submit t
我们正在验证函数输入时方法参数不为空，但这不适用于 Platform::String (或 Platform.String ，C# 或 C++ 之间没有区别)，因为它们用空实例重载空字符串的语义。 考
这个问题比我想来这里的问题要简单一些，但我一直在努力寻找答案，但我绝对不能—— 谷歌云平台 HTTP 函数是否支持路由参数，如此处？ http://expressjs.com/en/guide/rou
我正在使用 Kubernetes，我正在尝试创建一个 ingress resource .我使用以下方法创建它: $ kubectl create -f my-ingress.yaml 我等了一会儿，
我是 Google Cloud 的新手，所以我希望得到一些有关“组织”的指导。 我可以将项目从一个“组织”转移到另一个“组织”吗？我正在我的个人 GSuite 组织下启动一些项目，但我必须将它们转移到
在 GET 操作中，我想从返回的集合中排除具有等于“true”的“存档”字段的实体。 我希望这是我的端点(如/users 或/companies)的默认设置，并且我想避免手动添加 URL 过滤器，如
实例模板对于创建托管实例组至关重要。事实上，托管实例组对于在 GCP 中创建自动扩缩组至关重要。 这个问题是另一个问题 question's answer 的一部分，这是关于构建一个自动缩放和负载平衡
我正在将 GCP 用于多个相同的项目。对于每个新项目我都需要一个1 个 GPU 的配额(Tesla K80)。为了申请增加我的GPU配额，我打开console并导航至“IAM 和管理”>“配额”。我在
我是一名优秀的程序员,十分优秀！