gpt4 book ai didi

shell - 如何将文件从远程服务器复制到 hdfs 位置

转载 作者:可可西里 更新时间:2023-11-01 16:59:51 24 4
gpt4 key购买 nike

我想使用 sftp 将文件从远程服务器直接复制到 hdfs 位置,而不是将文件复制到本地。 hdfs 位置是一个安全的集群。请建议这是否可行以及在这种情况下如何进行。另外我想知道除了 sftp 之外是否还有其他连接和复制方式。

最佳答案

我认为最方便的方法(假设您的远程机器能够连接到 hadoop 集群)是让该远程机器充当 HDFS 客户端。只需 ssh 到那台机器,安装 hadoop 发行版,正确配置它,然后运行:

hadoop fs -put /local/path /hdfs/path

关于shell - 如何将文件从远程服务器复制到 hdfs 位置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25660584/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com