mapreduce - map() 的 LongWritable 键输入是什么？

Question

我有 2 个 1 MB 的文本文件，每个文件都存储在 HDFS 中，作为我 MapReduce 程序的输入。在下一行中，我们考虑 map() 的输入对是 。

class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {

这里的 LongWritable 键是什么？ MapReduce 是如何假设的？输入文件中的每一行文本是否都有一个键或一个键被假定为文件中的完整文本(即一次所有行)？

Answer 1

1- 这里的 LongWritable 键是 offset表示 position 的行文件中的那一行和 not行号。有a lot这2之间的区别。

2- 它是 not assumed通过 MapReduce 框架。这是InputFormat的职责你在你的 MR 工作中使用来决定它。默认为 TextInputFormat它给出了行的字节偏移量作为键，就像你的情况一样。

3- 好吧，这又取决于您的 InputFormat。如果您使用的是 TextInputFormat，那么每一行都将被视为以偏移量作为键的值。但是您可以拥有自己的自定义 InputFormat，它可能只为整个文件和该文件的所有行提供一个键作为值。