error-handling - 如何接收管道数据流作业失败的根本原因

Question

我正在Dataflow中运行管道。我想使用其ID收集来自Dataflow作业的所有错误消息。我正在使用Apache-beam 2.3.0和Java 8。

DataflowPipelineJob dataflowPipelineJob = ((DataflowPipelineJob) entry.getValue());
String jobId = dataflowPipelineJob.getJobId();
DataflowClient client = DataflowClient.create(options);
Job job = client.getJob(jobId);

有什么方法只能从管道接收错误消息吗？

Answer 1

对读取Dataflow日志消息的编程支持还不是很成熟，但是有两种选择:

由于您已经拥有DataflowPipelineJob实例，因此可以使用 waitUntilFinish() 重载，该重载接受 JobMessagesHandler 参数来过滤和捕获错误消息。您可以看到DataflowPipelineJob在其自己的 waitUntilFinish() 实现中如何使用它。

或者，您可以使用Dataflow REST API查询作业日志: projects.jobs.messages/list 。该API带有minimumImportance参数，该参数可让您仅查询错误。

请注意，在两种情况下，都可能会出现错误消息，这些消息不是致命的，并且不会直接导致作业失败。