hadoop - 从Hadoop Mapper采样记录

Question

我有一个数据集，其键包含3个部分:a，b和c。在我的映射器中，我想发出键为“a”且值为“a，b，c”的记录

从Hadoop中的映射器检测到的每个“a”，我如何发出总记录的10％？是否应该考虑将上一个Map-Reduce作业中每个“a”看到的记录总数保存在临时文件中？

Answer 1

如果您希望接近10％，则可以使用随机。这是Mapper的示例:

public class Test extends Mapper<LongWritable, Text, LongWritable, Text> {

    private Random r = new Random();

    @Override
    public void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        if (r.nextInt(10) == 0) {
            context.write(key, value);
        }
    }

}