gpt4 book ai didi

unix - 将远程文件scp转换为hadoop,而不将其复制到边缘节点

转载 作者:行者123 更新时间:2023-12-02 20:21:18 24 4
gpt4 key购买 nike

想要将文件从远程服务器复制到hadoop而不复制到边缘节点。

1.在下面的文章中,我们可以分两步来完成此操作:首先对本地边缘节点执行scp,然后执行hdfs fs命令从边缘节点移至hdfs
https://community.cloudera.com/t5/Support-Questions/Import-data-from-remote-server-to-HDFS/td-p/233148

2.在下面的文章中我们可以做ssh cat,但是我们有.gz这样的文件,不能是CAT
putting a remote file into hadoop without copying it to local disk

但是我正在寻找第三个选项,在这里我们可以用scp代替ssh CAT并复制到hadoop而无需复制到Edge节点。

最佳答案

Hadoop没有SCP上传功能。

如果您想在没有边缘节点或SSH的情况下获取文件,那么这就是WebHDFS或NFSGateway提供的功能

关于unix - 将远程文件scp转换为hadoop,而不将其复制到边缘节点,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60328418/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com