apache-spark - Apache Spark 应用程序工作流程

Question

您如何组织 Spark 开发工作流程？

我的方式:

本地 hadoop/ yarn 服务。

本地 Spark 服务。

Intellij 一屏

运行 sbt 控制台的终端

更改 Spark 应用程序代码后，我切换到终端并运行“package”以编译为 jar 和“submitSpark”，这是运行 spark-submit

的 stb 任务

在 sbt 控制台中等待异常 :)

我还尝试使用 spark-shell:

运行 shell 并加载之前编写的应用程序。

在 shell 中写入行

评价一下

如果可以的话复制到IDE

2、3、4后，粘贴代码到IDE，编译spark app，重新启动

有什么方法可以更快地开发 Spark 应用程序？

Answer 1

我使用交互式环境开发 Spark 作业的核心逻辑以进行快速原型(prototype)设计。我们使用 Spark Notebook为此目的在开发集群上运行。

一旦我对逻辑进行了原型(prototype)设计并且它按预期工作，我将 Scala 项目中的代码“工业化”，具有经典的构建生命周期:创建测试；由 Jenkins 构建、打包和创建工件。