python - 在 python 中运行管道期间访问 Apache Beam 指标值？

Question

我正在使用 Apache Beam Python SDK 的直接运行程序来执行类似于字数统计示例的简单管道。由于我正在处理一个大文件，我想在执行期间显示指标。我知道如何报告指标，但我找不到在运行期间访问指标的任何方法。

我在 PipelineResult 中找到了 metrics() 函数，但似乎我只从 Pipeline 中得到了一个 PipelineResult 对象.run() 函数，这是一个阻塞调用。在 Java SDK 中我找到了一个 MetricsSink，它可以在 PipelineOptions 上进行配置，但是我在 Python SDK 中没有找到一个等价物。

如何在管道执行期间访问实时指标？

Answer 1

直接运行器通常用于测试、开发和小型作业，为了简单起见，Pipeline.run() 被阻塞。在其他运行器上，Pipeline.run() 是异步的，结果可用于在执行期间监视管道进度。

您可以尝试运行本地版本的 OSS 运行器(如 Flink)来获得此行为。