python - 数据流未显示流管道的输出收集计数？

Question

我有一个从 Pubsub 读取数据的流媒体管道。我正在使用 apache beam python sdk 2.10。

我的管道包含不同的阶段。当我们使用 ReadFromPubsub 从 pubsub 读取数据时，我可以在第一阶段看到输入和输出集合计数。但是在第二阶段仅显示输入收集计数，输出收集计数为空白。

在最后阶段，我正在向 BigQuery 写信。

Answer 1

Support for streaming pipelines with Apache Beam Python SDK on Google Cloud Dataflow is in Beta .

某些功能未得到完全支持，某些监控指标就是这种情况。随着支持的改善，这些将逐渐添加。

计数器不可用，但您可以使用指标计数器添加自己的计数器，如下所示:

from apache_beam.metrics import Metrics

def debug(msg):
  Metrics.counter('elementCounts', 'filePaths').inc()
  # The rest of your code....

这有帮助吗？