scala - Spark : Custom key compare method for reduceByKey

Question

我需要在 Scala 中使用我自己的类作为键/值对中的键。特别是，我有一个包含两个变量 id1 和 id2 的简单类，我希望元素仅根据 id2 和不是 id1。我在网上找不到任何关于如何以及在何处可以重写 reduceByKey() 方法的比较方法的信息，以便它可以根据我的自定义 compare( ) 方法。

感谢任何帮助。谢谢你。

Answer 1

您不能覆盖 reduceByKey 的比较，因为它无法利用这样一个事实，即您的数据通常在整个集群中的不同执行程序上按 key 进行混洗。不过，您可以更改 key (请注意，根据您使用的转换/操作，这可能会重新洗牌周围的数据)。

RDD 中有一个叫做 keyBy 的漂亮方法可以做到这一点，所以你可以这样做:

val data: RDD[MyClass] = ...    // Same code you have now.
val byId2 = data.keyBy(_.id2)   //Assuming your ids are Longs, will produce a RDD[(Long,MyClass)]