java - 使用 Apache Spark 进行开发

Question

我是 Spark 的新手，我想询问一些关于为 Apache Spark 框架开发和测试我的代码的通用指南

1. 在本地测试我的代码最常见的设置是什么？有没有内置 VM 来提升(准备箱等)？我必须在本地设置 Spark 吗？有没有测试库可以测试我的代码？

2. 进入集群模式时，我注意到有一些方法可以设置你的集群；生产方面，最常见的方法是什么设置一个集群来运行 Spark？这里有三个选项

   • 独立集群设置
   • 使用 YARN
   • 与MESOS

谢谢

Answer 1

1) 普通设置:只需在本地机器上下载 Spark 版本。解压后关注these在本地设置它的步骤。

2) 为生产启动集群: 提供 Spark 集群模式概述 here解释运行 Spark 集群时的关键概念。 Spark 可以独立运行，也可以在多个现有的集群管理器上运行。目前，有几个部署选项可用:

• 亚马逊 EC2

• 独立模式

• Apache Mesos

• Hadoop yarn

EC2 脚本可让您在大约 5 分钟内启动集群。事实上，如果您正在使用 EC2，最好的方法是使用 spark 提供的脚本。独立模式最适合在私有(private)集群上部署 Spark。

通常，当我们有一个带有 YARN 的现有 Hadoop 设置时，我们会使用 YARN 作为集群管理器，Mesos 也是如此。相反，如果您要从尘埃中创建一个新集群，考虑到您没有使用 Amazon 的 EC2独立模式> 实例。 This链接显示了一些有助于安排独立 Spark 集群的步骤。