amazon-web-services - 如何在 EMR 中引导期间配置 Zeppelin-env.sh

Question

我有一个脚本可以通过 CLI 使用 Spark 和 Zeppelin 启动 EMR，还有一个引导操作来安装 Anaconda python。

aws emr create-cluster --applications Name=Hadoop Name=Hive Name=Spark \
Name=Zeppelin-Sandbox \
...... \
--bootstrap-actions \
'[{"Path":"s3://mybucket/python_config.sh","Name":"Python_Config"},\
{"Path":"s3://mybucket/export_var.sh","Name":"Export_Variables"}]'

我尝试在引导操作期间配置 zeppelin-env.sh，以便将笔记本存储到 s3 存储桶中。我有第二个脚本可以向文件中插入三行，但是没有用。

#!/bin/bash
echo 'export ZEPPELIN_NOTEBOOK_S3_BUCKET=mybucket' | sudo tee -a /etc/zeppelin/conf.dist/zeppelin-env.sh
echo 'export ZEPPELIN_NOTEBOOK_S3_USER=zeppelin' | sudo tee -a /etc/zeppelin/conf.dist/zeppelin-env.sh
echo 'export ZEPPELIN_NOTEBOOK_STORAGE=org.apache.zeppelin.notebook.repo.S3NotebookRepo' | sudo tee -a /etc/zeppelin/conf.dist/zeppelin-env.sh

然后我尝试添加另一个引导操作以通过 yum 而不是应用程序命令“Name=Zeppelin-Sandbox”来安装 zeppelin。

#!/bin/bash
cd /home/hadoop/
sudo yum -y install zeppelin
echo 'export ZEPPELIN_NOTEBOOK_S3_BUCKET=mybucket' | sudo tee -a /etc/zeppelin/conf.dist/zeppelin-env.sh
echo 'export ZEPPELIN_NOTEBOOK_S3_USER=zeppelin' | sudo tee -a /etc/zeppelin/conf.dist/zeppelin-env.sh
echo 'export ZEPPELIN_NOTEBOOK_STORAGE=org.apache.zeppelin.notebook.repo.S3NotebookRepo' | sudo tee -a /etc/zeppelin/conf.dist/zeppelin-env.sh
# Start Zeppelin
sudo /usr/lib/zeppelin/bin/zeppelin-daemon.sh start

然后启动脚本失败， bootstrap 失败，因为 bootstrap 操作返回非零错误代码。

有没有其他方法可以在引导期间将配置插入到 zeppelin-env.sh 中，以便在集群准备好后可以自动设置？先感谢您!

Answer 1

引导操作在安装或配置任何应用程序之前运行，因此使用引导操作自己配置应用程序并不是很简单，因为在引导操作运行时甚至不存在像/etc/zeppelin/conf 这样的目录。

相反，您应该使用配置 API，如下所述:http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-configure-apps.html

特别是，对于这种情况，您可能希望使用“zeppelin-env”配置分类的“export”子分类。