java - leftOuterJoin JavaPairRDD 和 JavaPairRDD>

Question

我正在尝试执行 JavaPairRDD 和 JavaPairRDD 的 leftOuterJoin> 并且函数签名返回类型是

JavaPairRDD<Integer, Tuple2<Integer, Optional<Map<Integer, Integer>>>>

这里可选的是 com.google.common.base.Optional

当我执行 leftOuterJoin 时，这是正确的返回类型吗？

我的 IDE 出现这个错误

no instance(s) of type variable(s) W exist so that Optinal<W> conforms to Optional<Map<Integer, Integer>>

我找不到合适的文档。如果有任何链接可以更好地理解这一点，那也会有所帮助。谢谢。

Answer 1

根据 javadoc ( https://spark.apache.org/docs/2.2.0/api/java/index.html?org/apache/spark/api/java/JavaPairRDD.html )，JavaPairRDD<K, V> 类型的 RDD 之间的左外连接和类型为 JavaPairRDD<K,W> 的 RDD会给你这个:JavaPairRDD<K,Tuple2<V,Optional<W>>> .

这是你写的，除了 Optional 类型是在 spark 的 java API 中定义的:org.apache.spark.api.java.Optional<T> .它不是 Google 定义的，因此您的 IDE 会向您抛出错误 ;-)