gpt4 book ai didi

apache-spark - Apache Spark : Difference between parallelize and broadcast

转载 作者:行者123 更新时间:2023-12-03 07:47:12 25 4
gpt4 key购买 nike

在 Spark(Python)中:

如果 sc 是 Spark 上下文 (pyspark.SparkContext),则有什么区别:

r = sc.parallelize([1,2,3,4,5])

r = sc.broadcast([1,2,3,4,5])

最佳答案

sc.parallelize(...) 在所有执行器之间传播数据

sc.broadcast(...)复制各个executor的jvm中的数据

关于apache-spark - Apache Spark : Difference between parallelize and broadcast,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39614407/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com