airflow - 使用 Pub/Sub 消息触发 Cloud Composer DAG

Question

我正在尝试创建一个通过发布/订阅消息触发的 Cloud Composer DAG。Google 提供了以下示例，每当 Cloud Storage 存储桶中发生更改时都会触发 DAG: https://cloud.google.com/composer/docs/how-to/using/triggering-with-gcf

但是，一开始他们说您可以触发 DAG 以响应事件，例如 Cloud Storage 存储桶中的更改或推送到 Cloud Pub/Sub 的消息。我花了很多时间试图找出如何做到这一点，但没有结果。

你能帮忙或给我一些指示吗？谢谢!

Answer 1

有两种方法可以通过 Pub/Sub 事件触发 DAG。

1. 您可以放置​​一个 PubSubPullSensor在你的 DAG 的开头。每次 PubSubPullSensor 可以拉取 Pub/Sub 消息时，您的 DAG 都会被触发。它将执行您的 DAG 中的其余任务。
2. 您还可以创建一个 Cloud Function that acts as Pub/Sub trigger .并把 Composer DAG triggering logic在 Cloud Function 触发器中。当消息发布到 Pub/Sub 主题时，Cloud Function 应该能够触发 Composer DAG。