gpt4 book ai didi

hadoop - 将文件从 HDFS 传出

转载 作者:可可西里 更新时间:2023-11-01 14:09:24 25 4
gpt4 key购买 nike

我想将文件从 HDFS 传输到不在 hadoop 集群中但在网络中的不同服务器的本地文件系统。

我本可以做到:

hadoop fs -copyToLocal <src> <dest>
and then scp/ftp <toMyFileServer>.

由于数据量很大,而且 hadoop 网关机器的本地文件系统空间有限,我想避免这种情况,直接将数据发送到我的文件服务器。

请提供一些有关如何处理此问题的指示。

最佳答案

这是最简单的方法:

ssh <YOUR_HADOOP_GATEWAY> "hdfs dfs -cat <src_in_HDFS> " > <local_dst>

它也适用于二进制文件。

关于hadoop - 将文件从 HDFS 传出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12173715/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com