gpt4 book ai didi

hadoop - hadoop 是否通过 copyFromLocal 分发文件

转载 作者:可可西里 更新时间:2023-11-01 14:49:25 26 4
gpt4 key购买 nike

我将一个 10Gig 文件从本地文件系统复制到 hdfs(通过使用 -copyFromLocal),它是分布在所有数据节点之间还是仅在名称节点上?我如何确定它已分发到所有数据节点上?

最佳答案

众所周知,文件的元数据存储在 Namenode 上,实际数据存储在集群的 Datanode 上。

如果您移动了 10 G 文件,那么这个文件的元数据肯定会存储在 Namenode 上,数据将存储在 Datanodes 上。但是你的文件的大小远远大于 block 大小(通常为 64 MB 或 128 MB),那么该文件数据肯定会存储在集群的不同数据节点的许多 block 上(由于复制因子)。

只有 Namenode 知道这些数据在集群中的位置。

关于hadoop - hadoop 是否通过 copyFromLocal 分发文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30286381/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com