Hadoop 和 Mapreduce 配置

Question

我对 Hadoop 架构有几个疑问

1. 在 Mapreduce 中，我们可以动态修改 block 大小和映射器的数量，如果可以，我们该怎么做？

2. block 是如何在 HDFS 中创建的。例如，hadoop 框架安装在 redhat linux 机器上。 linux 文件系统的默认 block 大小是 4k。 HDFS block 是 4k block 上的逻辑包装器还是如何创建 block 。它也是并行的还是顺序的？因为例如一个文件只有 32 MB，因为 block 大小是 64 MB。剩余的 32 Mb 是否可重复使用？

3. 我想查看刚刚复制到 HDFS 的特定文件的所有 block 的位置(数据节点)。是否有任何命令可以从一个位置执行此操作？

4. 如果我将视频文件移动到 HDFS，如何为该视频文件分配 block

Answer 1

1. In Mapreduce can we dynamically modify the block size and no of mappers?

我假设您正在寻找 HDFS 文件系统。

HDFS是分布式存储系统，Mapreduce是分布式处理框架。

可以使用 hdfs-site.xml 更改 HDFS block 大小

查看文档 page用于各种 HDFS 配置。

dfs.blocksize

134217728(默认值)

新文件的默认 block 大小，以字节为单位。您可以使用以下后缀(不区分大小写):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa) 指定大小(如 128k、512m、1g 等)，或以字节为单位提供完整大小(如 134217728 表示 128 MB)。

相关SE问题:

How to set data block size in Hadoop ? Is it advantage to change it?

2. Hows does the block gets created in HDFS. For example the hadoop framework is installed on say redhat linux machine. The default block size of linux filesystem is 4k. Is the HDFS block a logical wrapper on the 4k blocks or how does a block gets created. also is it parallel or sequential? because for example a file has only 32 MB since the block size is 64 MB. Is the remaining 32 Mb reusable?

剩余的 32 MB 可重复使用。

看看这个关于 HDFS block 写操作的 SE 问题:

Hadoop file write

3. I want to see the location(data node) of all the blocks of particular file I just copied to the HDFS. Is there any command to do that from a single location?

hadoop fsck /path/to/file -files -blocks

相关的 SE 问题:

Viewing the number of blocks for a file in hadoop

4. If I move the video file to HDFS, how does the block allocation happen for this video file?

block 数 = 以 MB 为单位的文件大小/以 MB 为单位的 DFS block 大小

一旦确定了 block 数，这些 block 将按照 Hadoop 文件写入问题中的说明进行写入。

几个好问题:

Hadoop chunk size vs split vs block size

How hadoop decides how many nodes will do map and reduce tasks