gpt4 book ai didi

hadoop - 通过 Hue 更新 HDFS 中的文件

转载 作者:可可西里 更新时间:2023-11-01 16:57:30 26 4
gpt4 key购买 nike

我知道HDFS是一次写入多次读取类型。据我所知,不可能在 HDFS 中(随机地)更新文件,因为文件存储在分布式环境中(作为 block ),每个 block 都复制在其他节点上,这对于数据节点来说很难更新,即使是这些复制的 block .

但是,我的问题是可以使用 hue 工具更新 HDFS 中的文件吗?因为,我已经使用 hue 工具更新了许多文件(存储在 HDFS 中)并在其上运行了 map-reduce 作业。那么,hue怎么可能更新HDFS中的文件呢。 hue 是否在后台执行某些操作?通过 hue 进行的更新是否真的更新到同一个文件?或者 hue 删除文件并重新写入整个文件(包括我们要更新的新数据)?

最佳答案

Hue 删除并重新写入整个文件,因为 HDFS 不支持版本。您会注意到 Hue 目前将版本限制为仅小文件。

这是一篇博文,可以了解更多关于 HDFS Filebrowser 的信息.

关于hadoop - 通过 Hue 更新 HDFS 中的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28058447/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com