java - RDD 到 JavaRDD 转换的性能影响

Question

我有一个类似这样的代码，我想使用 JavaRDD 而不是 RDD。所以，我在这里做转换。当我处理 GB 数据时，我想知道这种转换对性能的影响。

RDD<String> textFile = sc.textFile(filePath, 2);
JavaRDD<String> javaRDD = textFile.toJavaRDD(); 

这是广义转换还是狭义转换？JavaRDD 和 RDD 有什么区别？

Answer 1

没有显着的性能损失 - JavaRDD 是 RDD 的简单包装器，只是为了让 Java 代码的调用更加方便。它将原始 RDD 作为其成员，并在任何方法调用时调用该成员的方法，例如(来自 JavaRDD.scala ):

def cache(): JavaRDD[T] = wrapRDD(rdd.cache()) 

wrapRDD 归结为类似 new JavaRDD[T](rdd) 的东西，因此唯一的性能损失是为每个方法调用创建一个瘦 Java 对象，但这是完全可以忽略不计，因为它不是针对 RDD 中的每个元素执行一次，而是针对整个对象执行一次。