python - 在 GCP Composer 上创建 Airflow DAG

Question

我刚刚了解了 GCP Composer，并正在尝试将 DAG 从本地 Airflow 实例移动到云端，并对过渡有一些疑问。

1. 在本地实例中，我使用 HiveOperator 从 hive 读取数据并创建表并将其写回 hive。如果我必须在 GCP 中执行此操作，这怎么可能？我是否必须将数据上传到 Google Bucket？HiveOperator 在 GCP 中是否可以工作？

2. 我有一个 DAG，它使用传感器来检查另一个 DAG 是否完整，这在 Composer 上可行吗？

Answer 1

是的，Cloud Composer 只是托管 Apache Airflow，因此您可以做到这一点。

确保您使用的 Airflow 版本与本地使用的版本相同。 Cloud Composer 目前支持 Airflow 1.9.0 和 1.10.0。