java - 在这种情况下如何为hadoop编写partioner？

Question

我有一个像“signature[white space]date[white space]time”这样的 key ，但我希望所有在同一个容器中具有相同签名的 key 。对于这种情况如何编写partioner？

最诚挚的问候，

Answer 1

默认使用HashParititioner，并使用整个hashcode来计算reducer数量。为了完成您的任务，您可以仅散列 key 的一部分(在您的情况下为签名)，并且具有相同签名的所有 key 将被分配给同一个 reducer 。

试试这个代码:

public class HashPartitioner<K, V> extends Partitioner<K, V> {

   public int getPartition(K key, V value,int numReduceTasks) {

      return key.toString().split("\s+")[0].hashCode() % numReduceTasks;
   }
}