gpt4 book ai didi

hadoop - Namenode如何决定在哪个datanode中写入一个 block

转载 作者:可可西里 更新时间:2023-11-01 16:32:57 26 4
gpt4 key购买 nike

我只是想知道这个。假设我正在将一个 80 GB 的文件复制到 HDFS,并且我的 block 大小是 64 MB。现在在收集了一个 block 的数据后,名称节点将 block 写入数据节点。这是我的问题:名称节点以何种方式选择应将 block 写入哪个数据节点。是随机选择还是循环选择?

最佳答案

NameNode会根据负载分配因子选择datanode上的 block 。它将以平衡所有正在运行的数据节点上的负载的方式选择 block 。

此外,NameNode 不会收集一个 block 的数据并将其写入数据节点。当向NameNode发送写请求时,它会分配要写入各个数据节点的 block ,然后指示数据节点开始从源复制数据。它是一个主节点;它不自己复制。

关于hadoop - Namenode如何决定在哪个datanode中写入一个 block ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21121275/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com