gpt4 book ai didi

Hadoop分布式文件系统

转载 作者:可可西里 更新时间:2023-11-01 14:43:59 26 4
gpt4 key购买 nike

我有一个包含 3 个 block ( block a、 block b、 block c)的 file.txt。 hadoop 如何将这些 block 写入集群。我的问题是 hadoop 是否遵循并行写入?或者 block b 是否必须等待 block a 写入集群?或者block a和block b和block c并行写入hadoop集群...

最佳答案

当您将文件从本地文件系统复制到 HDFS当您在 HDFS 中创建新文件时: block 按顺序复制 - 首先,第一个 block 是复制到数据节点,然后将第二个 block 复制到数据节点,依此类推。

然而,并行完成的是副本放置:当数据节点从客户端接收 block 的数据时,数据节点将数据保存在代表 block 的文件中,同时将数据重新发送到另一个数据节点,它应该创建 block 的另一个副本。

当您将文件从一个位置复制到 HDFS 集群内或两个 HDFS 集群之间的另一个位置时:您可以使用 DistCp 并行执行此操作。

关于Hadoop分布式文件系统,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21747648/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com