gpt4 book ai didi

google-cloud-dataproc - Dataproc 虚拟机内存和本地磁盘使用指标

转载 作者:行者123 更新时间:2023-12-04 14:54:19 26 4
gpt4 key购买 nike

我正在尝试使用云指标监控 Dataproc 2.0 上的本地磁盘使用情况(百分比)。这对于监视 Spark 临时文件填满磁盘的情况很有用。

默认情况下,Dataproc 似乎只发送本地磁盘性能指标、CPU 等指标和集群级别的 HDFS 指标,但不发送本地磁盘使用情况。

Dataproc 镜像上似乎安装了一个 stackdriver 代理,但它没有运行,因此显然 Dataproc 使用不同的方式收集指标。我检查了是否在 /etc/stackdriver/collectd.conf 中启用了 df 插件。但是,启动代理失败:

Jul 16 03:01:57 metrics-test-m systemd[1]: Starting LSB: start and stop Stackdriver Agent...
Jul 16 03:01:57 metrics-test-m stackdriver-agent[3829]: Starting Stackdriver metrics collection agent: stackdriver-agentThe instance has neither the application default credentials file nor the correct monitoring scopes; Exiting. ... failed!
Jul 16 03:01:57 metrics-test-m stackdriver-agent[3829]: not starting, configuration/credentials error. ... failed!
Jul 16 03:01:57 metrics-test-m stackdriver-agent[3829]: (warning).
Jul 16 03:01:57 metrics-test-m systemd[1]: Started LSB: start and stop Stackdriver Agent.

是否有可能以某种方式监控 Dataproc 中的本地磁盘使用情况并将指标推送到 Google Cloud Metrics?

最佳答案

Google Cloud Monitoring Agent安装在 Dataproc 集群虚拟机上,但默认情况下处于禁用状态。

在创建集群时添加 --properties dataproc:dataproc.monitoring.stackdriver.enable=true 将启用它。该代理收集 guest 操作系统指标,包括内存和磁盘使用情况,因此您可以在 Cloud Metrics 中查看它们。查看此属性 doc .

顺便说一句,默认情况下收集 CPU 使用率而不依赖于代理的原因是,它是由 GCE 从 VM 主机收集的。但是对于内存和本地磁盘使用情况,VM 主机不知道它们,它们必须从客户操作系统内部收集,因此它取决于代理。当您启用代理时,将有两种不同类型的 CPU 使用指标,一个(计算)是从 VM 主机角度,另一个(代理)是从客户操作系统角度。

定价:这些指标并非免费,请查看Cloud Monitoring pricing用于定价。

关于google-cloud-dataproc - Dataproc 虚拟机内存和本地磁盘使用指标,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68403172/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com