google-cloud-platform - 如何将 yes 标志传递给 Google Composer 中的回填？

Question

我正在尝试使用 gcloud composer 命令在 Google Composer 中进行回填，但我很难通过 -y 或 --yes 对应的 --reset_dagruns 参数。

我得到的响应是 airflow: error: unrecognized arguments: -y。

命令:

gcloud composer environments run my_env --project my_project --location us-east1 backfill -- --reset_dagruns -y -s 2020-01-01 -e 2020-01-31 my_dag

我如何提供这个论点？

Answer 1

在回答您的具体问题之前，我有一个建议:
如果您的 DAG (my_dag) 已经指定了您需要回填的开始和结束日期，那么只需清除您需要回填/重做的运行状态。然后调度程序再次选择它们。

专门针对您的问题:
不幸的是，AirFlow CLI 文档并未证明可直接用于 Google Cloud Composer，这适用于 Composer 版本 1.10.2

gcloud --project=my_project composer environments run my_env --location us-east1 backfill -- my_dag --reset_dagruns -s 2020-01-01 -e 2020-01-31

请注意，这将保留您的 CLI session ，并在您 ctrl-c 退出时停止，如果您的回填很长，您最好在 dag 上定义开始日期并设置 catchup=True