hadoop - hadoop中的文件拆分/分区

Question

在hadoop文件系统中，我有两个文件，分别是X和Y。通常，hadoop制作的文件X和Y的大小为64 MB。是否可以强制hadoop划分两个文件，以便从X的32 MB和Y的32 MB中创建一个64 MB的块。换句话说，是否可以覆盖文件分区的默认行为？

Answer 1

文件分区是FileInputFormat的功能，因为它在逻辑上取决于文件格式。您可以使用任何其他格式创建自己的输入。因此，每个文件都可以-您可以做到。
在单个拆分中将不同文件的两部分混合听起来很麻烦-因为文件是处理的基本单位。
为什么会有这样的要求？
我看到下面的要求。可以说，必须至少部分牺牲数据的局部性-我们可以对一个文件而不是对两个文件都局部运行map。
我建议构建某种“文件对”文件，将其放入分布式缓存中，然后在map函数中从HDFS加载第二个文件。