java - Apache Beam/Google 数据流 - 错误处理

Question

我有一个包含很多步骤(刚好超过 15 个)的管道。我想在每次 DoFn 失败时报告失败。我开始通过 TupleTags 实现它，代码如下:

try {
 ... do stuff ...
 c.output(successTag, ...);
} catch (Exception e) {
 c.output(failureTag, new Failure(...));
}

但是由于我的管道包含很多步骤，这使得管道定义代码很难阅读/维护。

是否有更全局化的方式来实现它？类似于引发在管道级别全局处理的自定义异常？

Answer 1

您正在做的是捕获错误并以不同方式输出错误的正确方法。不过，您将在每一步都需要它。如果您愿意，可以使用 java 模式来重用它。为所有 ParDos 创建一个基类，并在 processElement 中添加异常处理代码。然后在您在 processElement 中调用的单独函数(即 processElementImpl)中实现您的 processElement。