gpt4 book ai didi

apache-spark - 什么是 pyspark 驱动程序?

转载 作者:行者123 更新时间:2023-12-05 04:08:57 25 4
gpt4 key购买 nike

<分区>

我看到启动 pyspark 的常见设置是使用 pyspark --master yarn --deploy-mode client --num-executors 4 --executor-memory 2g --driver-memory 4g ,但是驱动程序内存与执行内存有何不同?您能否解释一下驱动程序是什么以及在此处设置它如何影响 pyspark 工作流程/性能?

谢谢!

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com