gpt4 book ai didi

scala - 我可以在 Apache Spark 中捕获诸如 on Executor start 之类的事件吗?

转载 作者:可可西里 更新时间:2023-11-01 15:10:58 27 4
gpt4 key购买 nike

我想做的是让执行器在启动时(即在开始执行任何任务之前)启动一个程序,例如分析工具。通过这种方式,可以监视诸如执行程序的 CPU 使用率之类的事情。 Spark 是否提供这样的钩子(Hook)/回调?我用过SparkListener,但那是驱动端用的。我们对执行者有类似的东西吗?

最佳答案

这应该可以满足您的要求。 http://spark.apache.org/developer-tools.html#profiling

设置 yourkit 以与驱动程序和从属程序(执行程序)一起工作。除非您告诉它,否则它不会开始分析。连接到 master 或 slave,开始分析然后运行测试。

快乐的分析!!

关于scala - 我可以在 Apache Spark 中捕获诸如 on Executor start 之类的事件吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41081731/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com