gpt4 book ai didi

apache-spark - 使用 Ganglia 进行 Spark 监测

转载 作者:行者123 更新时间:2023-12-02 03:31:50 24 4
gpt4 key购买 nike

我正在测试框架 Apache Spark。我需要监控集群的某些方面,例如网络和资源。

Ganglia 看起来是满足我需要的一个不错的选择。然后,我发现 Spark 支持 Ganglia。

在Spark监控网页上有这样的信息:“要安装 GangliaSink,您需要执行 Spark 的自定义构建。”

我在我的 Spark 中找到了目录:“/extras/spark-ganglia-lgpl”。但我不知道如何安装它。

如何安装Ganglia来监控Spark集群?我如何进行此自定义构建?

谢谢!

最佳答案

Spark Ganglia 支持是 Spark 项目的 Maven 配置文件之一,它是“spark-ganglia-lgpl”。为了激活配置文件,您在构建项目时在 mvn 命令中放置“-Pspark-ganglia-lgpl”选项。例如,使用 Ganglia 构建 Apache Hadoop 2.4.X 是由

mvn -Pspark-ganglia-lgpl -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

构建Spark项目,请引用Building Spark with Maven的文档

关于apache-spark - 使用 Ganglia 进行 Spark 监测,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26166398/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com