Hadoop : Why using FileSplit in the RecordReader Implementation

Question

在 Hadoop 中，考虑一个场景，如果一个大文件已经加载到 hdfs 文件系统中，使用 hdfs dfs put 或 hdfs dfs CopyFromLocal 命令，大文件将被分成 block (64 MB)。

在这种情况下，当必须创建一个 customRecordReader 来读取大文件时，请解释使用 FileSplit 的原因，当大文件在文件加载过程中已经被分割并且以分割 block 的形式可用时。

Answer 1

Pls explain the reason for using FileSplit, when the bigfile is already splitted during the file loading progress and available in the forms of splitted blocks.

我认为您可能对 FileSplit 是什么感到困惑实际上是。假设您的大文件 是128MB，您的 block 大小是64MB。 bigfile 将占用两个 block 。你已经知道了。当在 MapReduce 中处理文件时，您还将(通常)得到两个 FileSplit。每个 FileSplit 映射到一个 block ，因为它之前已加载。

请记住，FileSplit 类不包含文件的任何实际数据。它只是指向文件中数据的指针。