google-cloud-platform - 如何在发布/订阅发布消息上触发 google composer DAG？

Question

Google 云函数不能用于在 Pub/Sub 消息上触发 Composer DAG

我已经尝试过 PubSubPullSensor

pull_messages = PubSubPullSensor(
    task_id="pull_messages",
    ack_messages=True,
    project='xxxx',
    subscription='xxxx',
)

但这并没有像预期的那样触发 DAG

任何帮助触发 Pub/Sub 消息上的 DAG 将不胜感激？

Answer 1

PubSubPullSensor 是 DAG 的一部分。 dag 需要运行才能执行传感器，这就是它不起作用的原因。

我认为最直接的方法是使用云函数，但如果这不可能，第二种选择是使用另一个服务器(它可能是 GCP 中的另一个计算选项:Cloud AppEngine、Cloud Run 等。 ) 接收 Pub/Sub 消息并触发 dag。基本上和 Pub/Sub + Cloud Functions 一样的思路，没有函数。

如果您不想遵循这种方法，并希望在同一个 Composer 环境中触发 Dag，您可以在运行的 dag 上使用 PubSubPullSensor 并在需要时使用 TriggerDagRunOperator。

这个想法可以以多种形式使用；然而，棘手的是 PubSubPullSensor 需要在运行的 dag 中执行。一个可能的解决方案是安排 dag 经常运行，例如 every 5 minutes