hadoop - 通过 ssh 隧道将文件传入/传出 HDFS

Question

有点复杂的设置:

我有以下结构

localhost --> bastion_host -> server -> hadoop_cluster

现在我可以创建一个 ssh 隧道，允许我从 localhost 和 server 复制文件。进入服务器后，我始终可以使用 hadoop fs -put/get 将文件传输到集群外。但是除了 server

之外，集群在其他任何地方都不可见

有没有办法使用现有隧道将文件复制进和复制出集群？

我的印象是我可以使用"

ssh -p 2345 localhost "hadoop fs -put -/user/eron/test_file3" < testing_scp.txt

其中 2345 是隧道的本地端口，testing_scp.txt 是本地文件。

不过，我明白了，

"sh: hadoop: command not found"

所以命令没有在server上执行

Answer 1

当您使用 ssh 服务器时，$PATH 会通过执行 .bashrc、.profile 等更新。当您使用隧道时，/usr/local/hadoop/bin 不会添加到您的 $PATH

它应该可以指定 hadoop 二进制路径:

ssh -p 2345 localhost "/usr/local/hadoop/bin/hadoop fs -put -/user/eron/test_file3" < testing_scp.txt