gpt4 book ai didi

google-cloud-platform - 如何使环境变量作为python sdk中的环境变量到达Dataflow worker

转载 作者:行者123 更新时间:2023-12-04 15:40:57 24 4
gpt4 key购买 nike

我用 python sdk 编写自定义接收器。我尝试将数据存储到 AWS S3。要连接 S3,需要一些凭证、 key ,但出于安全原因,在代码中设置并不好。我想让环境变量作为环境变量到达 Dataflow 工作人员。
我该怎么做?

最佳答案

通常,要将信息传输给您不想硬编码的 worker ,您应该使用 PipelineOptions - 请参阅 Creating Custom Options .然后,在构建管道时,只需从您的 PipelineOptions 中提取参数即可。对象并将它们放入您的转换中(例如放入您的 DoFn 或水槽)。

然而,对于像凭证这样敏感的东西,在命令行参数中传递敏感信息可能不是一个好主意。我会推荐一种更安全的方法:将凭证放入 GCS 上的文件中,并将文件名作为 PipelineOption 传递。 .然后在需要凭据时使用 GcsIO 以编程方式从 GCS 读取文件.

关于google-cloud-platform - 如何使环境变量作为python sdk中的环境变量到达Dataflow worker,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40285589/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com