apache-spark - Amazon EMR 上的 Livy Server 在连接到 ResourceManager 时挂起

Question

我正在尝试在 Amazon EMR 上部署 Livy Server。首先我构建了 Livy master 分支

mvn clean package -Pscala-2.11 -Pspark-2.0

然后，我将其上传到 EMR 集群 master。我设置了以下配置:

livy-env.sh

SPARK_HOME=/usr/lib/spark
HADOOP_CONF_DIR=/etc/hadoop/conf

livy.conf

livy.spark.master = yarn
livy.spark.deployMode = cluster

当我启动 Livy 时，它在连接到 YARN 资源管理器时无限期挂起(XX.XX.XXX.XX 是 IP 地址)

16/10/28 17:56:23 INFO RMProxy: Connecting to ResourceManager at /XX.XX.XXX.XX:8032

但是当我netcat 8032端口时，它连接成功

nc -zv XX.XX.XXX.XX 8032
Connection to XX.XX.XXX.XX 8032 port [tcp/pro-ed] succeeded!

我想我可能错过了一些步骤。任何人都知道这一步可能是什么？

Answer 1

解压 livy-server-0.2.0.zip 文件后，我对配置文件进行了以下更改

livy-env.sh

export SPARK_HOME=/usr/hdp/current/spark-client
export HADOOP_HOME=/usr/hdp/current/hadoop-client/bin/
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_CONF_DIR=$SPARK_HOME/conf
export LIVY_LOG_DIR=/jobserver-livy/logs
export LIVY_PID_DIR=/jobserver-livy
export LIVY_MAX_LOG_FILES=10
export HBASE_HOME=/usr/hdp/current/hbase-client/bin

livy.conf

livy.rsc.rpc.server.address=<Loop Back address>

在 spark conf 文件夹下的“spark-defaults.conf”文件中添加“spark.master yarn-cluster”。

如果您仍有问题，请告诉我。