amazon-ec2 - 用于 Ubuntu(或可能是 Centos)的 Spark AMI - 不是 amazon linux？

Question

spark 发行版包含一个 ec2 启动脚本，该脚本指向 github 中用于 spark ami 的位置。不幸的是，ami(只有一个)是 amazon linux - 非常有限。具体来说，amazon linux ami 的软件包支持有限。

所以，例如，如果我想在亚马逊 Linux 上安装 php5.4(而不是默认的 5.3)——就没有这样的运气。

是否有任何非亚马逊 linux ami 可用于 spark-ec2？

Answer 1

除了 provided by the Spark project 之外，我不知道有一组最新的 Spark AMI .

也就是说，我开发了一种使用 Packer 的方法从一组基本 AMI 和一些 Bash 脚本自动创建一组 Spark AMI:

https://github.com/nchammas/spark-ec2/tree/packer/image-build

这是作为 SPARK-3821 的一部分完成的.

您需要做一些工作才能使其与 Ubuntu 一起使用，因为脚本当前假定基于 yum 的 Linux 发行版。

基本上:

• These lines定义要构建的基础 AMI。
• These lines显示正在运行以构建镜像的脚本。
• These和 these行告诉 Packer 将构建的 AMI 复制到所有 EC2 区域。你可能想改变这一点。

对您来说，成功的最短路径可能是尝试具有您正在寻找的软件包的 CentOS 或 Fedora 基础镜像。这将最大限度地减少您必须对 Bash 脚本所做的更改。

在 Spark 1.4 发布时间范围内(大约 2015 年 6 月/7 月)，我将努力将其合并到主要的 spark-ec2 存储库中。