gpt4 book ai didi

scala - 如果 RDD 无法装入 Spark 中的内存会怎样?

转载 作者:可可西里 更新时间:2023-11-01 14:18:22 27 4
gpt4 key购买 nike

<分区>

据我所知,Spark 会尝试在内存中进行所有计算,除非您使用磁盘存储选项调用 persist。但是,如果我们不使用任何持久化,当 RDD 不适合内存时,Spark 会做什么?如果我们有非常庞大的数据怎么办。 Spark 将如何处理它而不会崩溃?

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com