gpt4 book ai didi

hadoop - HDFS 可以作为机器的 native 文件系统运行吗?

转载 作者:可可西里 更新时间:2023-11-01 15:31:11 27 4
gpt4 key购买 nike

我正在学习使用 Cloudera VM 的教程。 hadoop 堆栈已预安装在 VM 中。任何时候我必须做操作我必须将文件从 VM 文件系统传输到 HDFS,在我看来,将所有文件从 native 文件系统(在我的例子中是 VM native 文件系统)复制到 HDFS 有点开销。

hdfs dfs -put <FILE_IN_VM_FS> <FILE_IN_HDFS>

HDFS 是在工业环境中作为本地文件系统运行,还是上述方法是事实上的运行方式。

最佳答案

您不能使用 HDFS 跳过该过程。在 HDFS 中存储文件意味着几个步骤,例如如果文件大于 block 大小,则将文件分成 block ,在名称节点中生成记录以存储与文件 block 相关的所有元数据,创建所需的副本等。即使您只使用一个节点,HDFS 也被设计为在分布式环境中工作。

关于hadoop - HDFS 可以作为机器的 native 文件系统运行吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32638949/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com