java - 在 shell 脚本中运行 Hadoop 命令

Question

我有一个简单的 shell 脚本，我想用它来将日志文件移动到我的 Hadoop 集群中。

当我在我的Java程序中调用shell脚本时，找不到脚本“Hadoop Commands”，我没有采取任何行动。

例如，我想运行以下命令:

#!/bin/bash
hadoop fs -put /home/can/workspace2/myWebApp/tweets.txt /user/training/tweetFolder

我怎样才能以简单的方式解决这个问题？

Answer 1

如果您使用一些可执行文件(如 CDH、HDP 等)安装了 Hadoop，它应该可以工作。但是，如果它是通过 Apache 的 tarball 进行设置，则需要使用完整路径和 bin/，因为 bin 目录包含所有可执行文件。

HADOOP_HOME/bin/hadoop fs -put /home/can/workspace2/myWebApp/tweets.txt /user/training/tweetFolder

此外，设置 HADOOP_HOME 变量始终是一个好习惯。