google-cloud-platform - 谷歌数据流 "Workflow failed"无缘无故

Question

我在 Google Cloud Platform 上运行 Dataflow-Jobs，我收到的一个新错误是“Workflow failed”，没有任何解释。我得到的日志如下:

 2017-08-25 (00:06:01) Executing operation ReadNewXXXFromStorage/Read+JsonStringsToXXX+RemoveLanguagesFromXXX...
 2017-08-25 (00:06:01) Executing operation ReadOldXYZ_ABC_1234_123_ns_123123123123123/GroupByKey/Create
 2017-08-25 (00:06:01) Starting 1 workers in europe-west1-b...
 2017-08-25 (00:06:01) Executing operation ReadOldXYZ_ABC_1234_123_ns_123123123123123/ParDo(SplitQuery)+ReadOldXYZ...
 2017-08-25 (00:06:48) Workflow failed.
 2017-08-25 (00:06:48) Stopping worker pool...
 2017-08-25 (00:06:58) Worker pool stopped.

我应该如何找出问题所在？这应该不是对象权限的问题，因为类似的作业已成功运行。当我尝试从 Google Cloud Console 重新运行模板时，我收到消息:

No metadata file found for this template

但我能够启动模板，现在它成功运行了。这可能与超出配额有关吗？我们刚刚增加了数据流的 CPU 和 IP 配额，我将并行运行的作业从 5 个增加到 15 个，以便能够使用配额。当我在没有任何其他作业运行的情况下重新运行模板时，一切似乎都运行良好。

非常感谢任何输入。谢谢

编辑:作业似乎因为超出 CPU 配额而失败，但通常我们会收到错误描述，其中显示“无法产生足够的工作人员”。尽管如此，在我减少每个工作的最大 worker 数后，一切正常，因此我们的配额不会超过。

Answer 1

我认为“未找到此模板的元数据文件”应该被视为警告，而不是错误。模板可以有一个与之关联的“元数据”文件，允许参数验证。如果不存在这样的文件，则不会验证参数，但其他一切都正常工作——该消息只是这种情况的指示。

听起来问题是由于其他原因无法完成作业。根据您的描述和编辑，这听起来像是因为缺少运行该作业的配额。