gpt4 book ai didi

hadoop - 将目录从远程 HDFS 本​​地文件系统复制到我的本地机器

转载 作者:可可西里 更新时间:2023-11-01 15:23:48 33 4
gpt4 key购买 nike

我本地的hdfs环境下有一个目录,我想把它复制到我的本地电脑上。我正在使用 ssh(使用密码)访问 hdfs。

我尝试了很多建议的复制命令但没有用。

我尝试过的:

scp ‘username@hn0-sc-had:Downloads/*’ ~/Downloads

如本 link 所述.我究竟做错了什么?

最佳答案

SCP 将从远程 Linux 服务器复制。

HDFS 不存在于单个服务器上或者是“本地文件系统”,因此 SCP 不是直接从中复制的正确工具

您的选择包括

  1. SSH 到远程服务器
  2. 使用 hdfs dfs -copyToLocal 从 HDFS 中提取文件
  3. 从您的计算机上使用 SCP 获取您刚刚在远程服务器上下载的文件

或者

  1. 使用来自远程服务器的 XML 文件配置本地 Hadoop CLI
  2. 使用 hdfs dfs -copytoLocal 从您自己的计算机直接针对 HDFS

或者

  1. Install HDFS NFS Gateway
  2. 在您的本地计算机上安装一个 NFS 卷,并从中复制文件

关于hadoop - 将目录从远程 HDFS 本​​地文件系统复制到我的本地机器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50260230/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com