hadoop - bootstrap 中设置的环境变量在 AWS EMR 中不生效

Question

我正在我的 Bootstrap 代码中设置一个环境变量

export HADOOP_HOME=/home/hadoop
export HADOOP_CMD=/home/hadoop/bin/hadoop
export HADOOP_STREAMING=/home/hadoop/contrib/streaming/hadoop_streaming.jar
export JAVA_HOME=/usr/lib64/jvm/java-7-oracle/

接下来是使用上面定义的变量之一 -

$HADOOP_CMD fs -mkdir /home/hadoop/contents
$HADOOP_CMD fs -put /home/hadoop/contents/* /home/hadoop/contents/

执行失败并显示错误消息-

/mnt/var/lib/bootstrap-actions/2/cycle0_unix.sh: line 3: fs: command not found
/mnt/var/lib/bootstrap-actions/2/cycle0_unix.sh: line 4: fs: command not found

cycle0.sh 是我的引导脚本的名称。

对这里发生的事情有什么意见吗？

Answer 1

我找到了解决问题的正确方法。我尝试使用 hadoop fs 命令将数据文件从 S3 复制到 EMR，但没有成功。我刚刚了解了 EMR 中用于文件传输的 S3DistCp 命令，因此我跳过了 $HADOOP_CMD 方法。对于关心 S3DistCp 工作原理的人 Link to AWS EMR Docs .我仍然不明白为什么引导脚本不会在后续语句中接受环境变量。