gpt4 book ai didi

apache-spark - 缓存的 RDD 存储在哪里(即以分布式方式或在单个节点上)?

转载 作者:行者123 更新时间:2023-12-04 05:14:33 26 4
gpt4 key购买 nike

当我们在 Spark 中缓存一个 RDD 时,它是以分布式方式存储还是在单个节点上?它存储在哪些系统内存中?

最佳答案

在缓存操作之后,数据保持分布式并且不存储在单个节点中。 cachepersists选项不会改变/影响 RDD 的分布.每个和后缓存操作的分配保持不变。

关于apache-spark - 缓存的 RDD 存储在哪里(即以分布式方式或在单个节点上)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44347048/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com