gpt4 book ai didi

java - 加入 2 个 PairRDDs 而不洗牌

转载 作者:可可西里 更新时间:2023-11-01 15:33:43 25 4
gpt4 key购买 nike

我有 2 个 PairRDD:非常大的 rddA 和小得多的 rddB。我需要按键连接它们,以便我可以进一步迭代对应于相同键的那些 PairRDD 的元素对。 PairRDD#join 方法似乎正是我所需要的,但我看到它涉及到混洗,从而导致向 HDFS 写入大量数据并经常出现内存不足错误。有没有办法避免洗牌?

最佳答案

为了减少混洗,数据必须位于相同的集群节点上。

  • 在数据源级别控制分区和/或使用 .partition 运算符
  • 如果小RDD可以装下所有worker的内存,那么使用广播变量是更快的选择

一些对我有帮助的建议:

关于java - 加入 2 个 PairRDDs 而不洗牌,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28795874/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com