gpt4 book ai didi

kubernetes - 如何在 Cloud Composer 中使用 bash 运算符从 DAG 运行 `kubectl -f apply `?

转载 作者:行者123 更新时间:2023-12-02 05:15:56 24 4
gpt4 key购买 nike

我正在尝试应用配置文件以使用 BashOperator 从 Cloud Compose 创建 POD

首先,我尝试使用 PodOperator,但它不允许传递规范文件,它只是从图像构建。

我尝试使用 BashOperator,因为 worker 已经包含 gcloud、kubectl 等。https://cloud.google.com/composer/docs/how-to/using/writing-dags#bashoperator

但每次我运行命令时,参数或 gcloud sdk 都会出现一些错误。

我尝试运行单个 kubectl 命令,kubectl 确实安装在 worker 上。

我之前尝试过为集群设置配置,但我在那个调用中也遇到了错误。

job = BashOperator(
task_id='start',
bash_command='kubectl apply -f
/home/airflow/gcs/dags/.../spec.yaml',
env=prodigy_env
)

我希望使用配置文件有效地创建 pod,但实际输出是

{bash_operator.py:124} INFO - 无法识别 - 文件路径

*如果你运行 cat/path 文件确实存在

最佳答案

我忘了回答,显然通过 bash 运算符传递环境变量会扰乱执行。

路径存在,我能够毫无问题地运行脚本,我只是不能那样传递环境变量。

我最终在 spec.yaml

中传递了它们

关于kubernetes - 如何在 Cloud Composer 中使用 bash 运算符从 DAG 运行 `kubectl -f apply <file.yaml>`?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56888731/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com