gpt4 book ai didi

hadoop - 在HDFS上载期间可以读取数据吗?

转载 作者:行者123 更新时间:2023-12-02 19:53:21 24 4
gpt4 key购买 nike

想象一下,XYZ先生正在将500MB的文件上传到Hadoop(HDFS)。 100MB数据已成功上传到Hadoop(HDFS)中,作为客户端的ABC先生想在上传仍在进行时读取上传的数据。在这种情况下会发生什么,是否将显示上载的1000 MB数据?

最佳答案

做这样的事情。
如果正在将500MB的文件上传到HDFS。如果已成功在HDFS中上载了100MB的数据,并且另一个客户端将在继续进行上载的同时读取上载的数据。那会发生什么呢?是否会显示上传的100MB数据?
Hadoop1x的默认块大小为64MB,而Hadoop2x的默认块大小为128MB。
假设块大小为100MB,即将五个块复制3次(默认复制因子)
以下过程描述了如何在HDFS中写入块:
如果我们有A,B,C,D和E,则分别是客户端,文件,名称节点和数据节点的五个块。然后,首先,客户端获取块A并到达数据节点位置的名称节点,以存储此当前块及其复制副本。客户端可获得数据节点信息后,他将直接到达数据节点并开始复制块A,同时将其复制到第二个数据节点。当块被复制并复制到数据节点时,对块A存储的确认将到达客户端,然后进一步,客户端将为下一个块(即块B)重新开始相同的过程。
因此,如果一个正在将500MB的文件上载到HDFS,其中100MB的数据已成功在HDFS中上载,而另一个客户端将要读取上载的数据,而上载仍在进行中,则仅当前块正在被读者看不到。

关于hadoop - 在HDFS上载期间可以读取数据吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62888223/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com