java - 从 javaPairRDD 中获取最高键

Question

我有一个名为“rdd”的javaPairRDD，它的元组定义为:

 <Integer,String[]> 

我想使用 max() 函数提取最高的 key ，但它需要一个比较器作为参数，请给我一个如何做到这一点的示例!!!

example:

  rdd={(22,[ff,dd])(8,[hh,jj])(6,[rr,tt]).....} 

应用 rdd.max(....) 后，它应该给我:

 int max_key=22;

请帮帮我...请使用java

Answer 1

您的方法不起作用，因为元组没有固有的顺序。

你想要做的是获得最多的 key 。最简单的方法是提取 key ，然后像这样获取最大值

keyRdd = rdd.keys()
max_key = keyRdd.max()

注意:不是 javaSpark 用户，因此语法可能有点偏差。