gpt4 book ai didi

apache-spark - Apache Spark : How to Send custom messages from Executor to Driver

转载 作者:行者123 更新时间:2023-12-05 07:28:20 24 4
gpt4 key购买 nike

有没有办法在 Apache Spark 中将一些自定义消息从 Executor 发送到 Driver?从驱动程序和执行程序日志中可以明显看出,有很多框架级别的通信正在发生,但是我没有找到任何 API 来在进程之间发送自定义消息。请指教。

最佳答案

我认为你可以使用累加器!阅读:https://www.tutorialspoint.com/apache_spark/advanced_spark_programming.htm

你不能发送消息,但你可以在执行器处聚合数据,并在并行计算结束后在驱动程序中使用它。

关于apache-spark - Apache Spark : How to Send custom messages from Executor to Driver,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53425254/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com