gpt4 book ai didi

apache-flink - 如何使用 Prometheus 指标监控 Grafana 中的 Flink 背压

转载 作者:行者123 更新时间:2023-12-02 03:19:50 25 4
gpt4 key购买 nike

Flink Web UI 有一个出色的背压部分。但我看不到 Prometheus 记者给出的任何指标,这些指标可用于以与 Grafana 仪表板相同的方式检测背压。

enter image description here有没有办法在 Flink Web UI 之外获取相同的指标?使用此处描述的指标https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html 。或者甚至有一个 prometheus scraper 来抓取 web api?

最佳答案

Flink 仪表板中显示的背压监控未使用指标系统,因此这些值无法通过 MetricsReporter 获得。但您可以通过 REST api 访问此信息在

/jobs/:jobid/vertices/:vertexid/backpressure

虽然这种背压检测机制很有用,但它确实有其局限性。它通过调用 Thread.getStackTrace() 来工作,这是昂贵的,并且某些运算符(例如 AsyncFunction)在未采样的线程中执行关键事件。

调查背压的另一种方法是在 flink-conf.yaml 中设置此配置选项

taskmanager.network.detailed-metrics: true

然后您可以查看测量入站/出站网络队列长度的指标。

关于apache-flink - 如何使用 Prometheus 指标监控 Grafana 中的 Flink 背压,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55139868/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com