java - 如何相异JavaPairRDD

Question

我有两个不同的JavaPairRdd，一个是Key1，value，另一个是key2，value。我试图实现的是合并它们，但仅获取具有相同值的项目。

我尝试了以下方法:

 JavaPairRDD<String, String> finalRdd = filteredRdd.intersection(filteredsmallRdd);

其中filteredRdd包含key:Country，值，而filteredsmallRdd包含:key:id，值。并且我需要哪些元素具有相同的值，与交集，我认为比较唯一的 key ，我得到了一个空的解决方案，如何做到这一点的任何想法？

Answer 1

您可以使用swap更改值作为每个rdd的键，然后执行交集。

JavaPairRDD<String,String> finalRdd = filteredRdd.mapToPair(f -> f.swap()).intersection(filteredsmallRdd.mapToPair(f -> f.swap()));