apache-spark - 如何将 Spark 升级到新版本？

Question

我有一个虚拟机，它有 Spark 1.3在它上面，但我想将它升级到 Spark 1.5主要是由于某些支持的功能不在 1.3 中。我可以升级Spark吗？版本来自 1.3至 1.5如果是，那么我该怎么做？

Answer 1

预先构建的 Spark 发行版，就像我相信您正在使用的基于 another question of yours 的发行版一样，“升级”相当简单，因为实际上并没有“安装”Spark。实际上，您所要做的就是:

Download适当的 Spark 发行版(在您的情况下为 Hadoop 2.6 及更高版本预先构建)

将 tar 文件解压缩到适当的目录中(即文件夹 spark-1.3.1-bin-hadoop2.6 已经是)

更新您的 SPARK_HOME (可能还有其他一些环境变量，取决于您的设置)相应地

这是我自己所做的，从 1.3.1 到 1.5.2，设置类似于您的设置(运行 Ubuntu 的流浪虚拟机):

1)下载相应目录下的tar文件

vagrant@sparkvm2:~$ cd $SPARK_HOME
vagrant@sparkvm2:/usr/local/bin/spark-1.3.1-bin-hadoop2.6$ cd ..
vagrant@sparkvm2:/usr/local/bin$ ls
ipcluster     ipcontroller2  iptest   ipython2    spark-1.3.1-bin-hadoop2.6
ipcluster2    ipengine       iptest2  jsonschema
ipcontroller  ipengine2      ipython  pygmentize
vagrant@sparkvm2:/usr/local/bin$ sudo wget http://apache.tsl.gr/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
[...]
vagrant@sparkvm2:/usr/local/bin$ ls
ipcluster     ipcontroller2  iptest   ipython2    spark-1.3.1-bin-hadoop2.6
ipcluster2    ipengine       iptest2  jsonschema  spark-1.5.2-bin-hadoop2.6.tgz
ipcontroller  ipengine2      ipython  pygmentize

请注意，您应该与 wget 一起使用的精确镜像可能与我的不同，具体取决于您的位置；您将通过单击 download page 中的“下载 Spark”链接获得此信息。 , 选择要下载的包类型后。

2) 打开 tgz 的包装文件与

vagrant@sparkvm2:/usr/local/bin$ sudo tar -xzf spark-1.*.tgz
vagrant@sparkvm2:/usr/local/bin$ ls
ipcluster     ipcontroller2  iptest   ipython2    spark-1.3.1-bin-hadoop2.6
ipcluster2    ipengine       iptest2  jsonschema  spark-1.5.2-bin-hadoop2.6
ipcontroller  ipengine2      ipython  pygmentize  spark-1.5.2-bin-hadoop2.6.tgz

您可以看到现在您有了一个新文件夹 spark-1.5.2-bin-hadoop2.6 .

3) 相应更新 SPARK_HOME (可能还有您正在使用的其他环境变量)指向这个新目录而不是前一个目录。

重新启动机器后，您应该完成。

请注意:

您不需要删除以前的 Spark 发行版，只要所有相关的环境变量都指向新的发行版即可。这样，您甚至可以在旧版本和新版本之间快速“来回”移动，以防您想要测试(即您只需要更改相关的环境变量)。

sudo在我的情况下是必要的；根据您的设置，您可能不需要它。

确保一切正常后，最好删除下载的tgz文件。

您可以使用完全相同的过程升级到 future 版本的 Spark，因为它们出现(相当快)。如果您这样做，请确保之前的 tgz文件已被删除，或修改tar上面的命令指向一个特定的文件(即没有 * 上面的通配符)。