google-cloud-platform - 为什么 Dataflow 步骤未启动？

Question

我有一个线性三步数据流管道 - 由于某种原因，最后一步开始了，但前两步卡在 Not started 中。在我放弃并杀死工作之前很长一段时间。我不确定是什么原因造成的，因为这个相同的管道在过去已经成功运行，而且我很惊讶它没有在日志中显示任何关于阻止前两个步骤开始的错误。什么会导致这种情况，我该如何防止它发生？

Answer 1

发生这种情况是因为工作程序启动时出错。某些 Dataflow 步骤似乎不需要工作人员(例如写入 GCS)，这就是该步骤能够启动的原因 - 即该步骤启动并不意味着工作人员正在被正确创建。默认情况下，工作日志中不显示工作器启动 - 您需要单击指向 Stackdriver 的链接在作业日志中，然后添加 worker-startup在日志中下拉以查看任何这些错误。