java - InputSampler中的有哪些类型？

Question

我是 Hadoop 世界的新手。我想知道 <K,V> 的类型是什么在InputSampler<K,V>或 InputSampler.Sampler<K,V> ？这等于来自 Mapper 的键和值？上的例子互联网不要使用它们。例如这个 link只需在没有泛型的情况下实例化它:

InputSampler.Sampler sampler = new InputSampler.RandomSampler(pcnt, numSamples, maxSplits);

Answer 1

是的，when looking at the code ，K表示键的类型，V表示值的类型。真正的 Writable 类型取决于您想要采样的输入类型，从这个意义上说 - 是的，它类似于您在 Mapper 中使用的类型。

  RecordReader<K,V> reader = inf.createRecordReader(splits.get(i), samplingContext);
  reader.initialize(splits.get(i), samplingContext);
  while (reader.nextKeyValue()) {
    samples.add(ReflectionUtils.copy(job.getConfiguration(),
    reader.getCurrentKey(), null));
  }