hadoop - 在 yarn 集群上安装 spark

Question

我正在寻找有关如何在现有虚拟 yarn 集群上安装 spark 的指南。

我有一个由两个节点组成的 yarn 集群，运行了 map-reduce 作业，效果很好。在日志中查找结果，一切正常。

现在我需要在我的 vagrantfile 中添加 spark 安装命令和配置文件。我找不到好的指南，有人可以给我一个好的链接吗？

我将这个指南用于 yarn cluster

http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/#single-node-installation

提前致谢!

Answer 1

我不知道 vagrant，但我已经在 hadoop 2.6 之上安装了 Spark(在指南中称为 post-YARN)，我希望这会有所帮助。

在现有的 hadoop 上安装 Spark 非常简单，您只需仅在一台机器上安装它。为此，您必须从 it's official website 下载为您的 hadoop 版本预构建的版本。 (我想你可以使用 without hadoop 版本，但你需要将它指向系统中 hadoop 二进制文件的方向)。然后解压:

tar -xvf spark-2.0.0-bin-hadoop2.x.tgz -C /opt

现在你只需要设置一些环境变量。首先在你的~/.bashrc(或~/.zshrc)你可以设置SPARK_HOME并将它添加到你的PATH如果你想要:

export SPARK_HOME=/opt/spark-2.0.0-bin-hadoop-2.x
export PATH=$PATH:$SPARK_HOME/bin

要使此更改生效，您还可以运行:

source ~/.bashrc

其次，您需要将 Spark 指向您的 Hadoop 配置目录。为此，请在 $SPARK_HOME/conf/spark-env.sh 中设置这两个环境变量:

export HADOOP_CONF_DIR=[your-hadoop-conf-dir usually $HADOOP_PREFIX/etc/hadoop]
export YARN_CONF_DIR=[your-yarn-conf-dir usually the same as the last variable]

如果此文件不存在，您可以复制 $SPARK_HOME/conf/spark-env.sh.template 的内容并从那里开始。

现在要以 yarn 模式启动 shell，您可以运行:

spark-shell --master yarn --deploy-mode client

(您不能在 cluster 部署模式下运行 shell)

------------更新

我忘了说你也可以用这样的配置提交集群作业(感谢@JulianCienfuegos):

spark-submit --master yarn --deploy-mode cluster project-spark.py

这样在终端看不到输出，作业一提交(未完成)命令就退出。

您还可以使用 --deploy-mode client 在您的终端中查看输出，但这样做只是为了测试，因为如果命令被中断(例如，您按Ctrl+C，或者您的 session 结束)