scala - 单个 RDD 记录可以有多大？

Question

我有一个像这样的 RDD:

val graphInfo: RDD[(Long, Int, Long, Long, Iterable[Long])]

节点由一个Long型整型表示，将存储在graphInfo的Iterable[Long]中。该 Iterable 中可以包含多少个元素？单个 RDD 记录的大小有什么限制(如果有)？

Answer 1

如前所述，元素的数量没有限制。

但是，单个 RDD 记录使用的内存数量可能存在限制:Spark 将最大分区 大小限制为2GB(参见 SPARK-6235)。每个分区都是记录的集合，因此理论上一条记录的上限是 2GB(当每个分区包含一个单个记录时达到此限制)。

在实践中，不鼓励超过几兆字节的记录，因为上述限制可能会迫使您人为地增加分区数，超出最佳分区数。 Spark 的所有优化考虑旨在处理尽可能多的记录(给定足够的资源)，而不是处理尽可能多的记录。