hadoop - dfs.blocksize、file.blocksize、kfs.blocksize 等对 hadoop mapreduce 作业有什么影响？

Question

当我查看 hadoop(版本 0.21.0)mapreduce 作业的 job.xml 文件时，我发现存在多个 blocksize 设置:

• dfs.blocksize = 134217728(即 128MB)
• file.blocksize = 67108864(即 64MB)
• kfs.blocksize = 67108864
• s3.blocksize = 67108864
• s3native.blocksize = 67108864
• ftp.blocksize = 67108864

我期待一些答案来解释以下相关问题:

1. 在这种情况下，dfs、file、kfs、s3 等是什么意思？<
2. 它们之间有什么区别？
3. 它们在运行 mapreduce 作业时有什么影响？

非常感谢!

Answer 1

Map reduce 可以处理存储在不同类型存储系统上的数据。以上设置是所用存储技术的默认 block 大小。 dfs(分布式文件系统)是我们在hadoop中常用的，默认 block 大小为128MB。其他设置用于文件(本地)、kfs(kosmos 分布式文件系统)、s3(亚马逊云存储)和 ftp(ftp 服务器上的文件)。

您可以进一步研究它们以更好地理解每一个并将它们与 hadoop 功能一起使用。在运行 map reduce 作业时，针对所使用的特定存储技术的设置将被识别为 block 大小。希望对您有所帮助。