Pentaho 数据集成 : Error Handling

Question

我正在使用 Pentaho 数据集成 (CE) 构建 ETL 流程，并且我正在尝试操作我的转换和作业，以便能够对其进行监控。具体来说，我希望能够捕获任何错误，然后将它们发送到诸如 Honeybadger 或 New Relic 之类的错误报告服务。我懂怎么做行级错误报告 但我看不到做工作或交易的方法 故障报告 .

这是一个示例作业。

下行路径 是转换成功但有行错误的地方。在那里我们可以过滤结果并记录它们。

右边的路径是转换完全失败的情况(例如，数据库凭据错误)。这就是我遇到麻烦的地方:我不知道如何获取要发送的错误信息。

如何捕获要记录的转换失败？

Answer 1

您无法捕获作业本身内部的作业级错误详细信息。
但是，还有其他监视选项。

第一个选项是将数据库日志记录用于转换或作业(请参阅作业/转换参数对话框中的“日志”选项卡)- 这样您始终可以获得有关执行状态的最新信息，以便您可以编写作业定期扫描日志数据库并在您需要的任何地方发送错误报告。

同时，这个选项对于开发和支持来说似乎是非常重要的，并且对于进一步修改来说不太灵活。因此，在我们公司，我们最终在作业执行级别进行监控 - 即，当您使用 kitchen.bat 运行作业并且由于任何原因失败时，您会收到厨房执行的“错误”状态，因此您可以轻松检查它并使用您喜欢的任何工具执行必要的操作 - .bat 命令、PowerShell 或(在我们的例子中)Jenkins CI。