gpt4 book ai didi

hadoop - HDFS block 创建

转载 作者:可可西里 更新时间:2023-11-01 15:30:01 24 4
gpt4 key购买 nike

我想知道 block 是如何创建的。它是在文件系统上默认创建 64MB block 还是根据文件传输事件创建

假设我已经设置了一个 10 节点集群设置。我在所有节点上安装 hadoop。现在如何创建 block 。一旦我启动 hdfs 服务,该 block 就会在 linux 系统上创建。它是否创建了 4k block 的物理 64 MB block ? (基本 block 大小)。

当我移动一个大小为 128 MB 的文件时,将创建两个 block 。 block 创建是否在两个节点中并行发生?哪个组件会实际将文件拆分成 block ?

我只是 hadoop 的初学者,因此提出这些问题以获得清晰的理解

最佳答案

这是我为 HDFS 初学者找到的最好的 Material 。它只是通过生动的漫画回答您的问题。

A good client always knows these two things: BlockSize and Replication Factor

HDFS解释为漫画
https://drive.google.com/file/d/0B-zw6KHOtbT4MmRkZWJjYzEtYjI3Ni00NTFjLWE0OGItYTU5OGMxYjc0N2M1/view

关于hadoop - HDFS block 创建,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35763885/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com