gpt4 book ai didi

apache-spark - Apache Spark 应用程序工作流程

转载 作者:行者123 更新时间:2023-12-04 04:23:03 24 4
gpt4 key购买 nike

您如何组织 Spark 开发工作流程?

我的方式:

  • 本地 hadoop/ yarn 服务。
  • 本地 Spark 服务。
  • Intellij 一屏
  • 运行 sbt 控制台的终端
  • 更改 Spark 应用程序代码后,我切换到终端并运行“package”以编译为 jar 和“submitSpark”,这是运行 spark-submit
  • 的 stb 任务
  • 在 sbt 控制台中等待异常 :)

  • 我还尝试使用 spark-shell:
  • 运行 shell 并加载之前编写的应用程序。
  • 在 shell 中写入行
  • 评价一下
  • 如果可以的话复制到IDE
  • 2、3、4后,粘贴代码到IDE,编译spark app,重新启动

  • 有什么方法可以更快地开发 Spark 应用程序?

    最佳答案

    我使用交互式环境开发 Spark 作业的核心逻辑以进行快速原型(prototype)设计。我们使用 Spark Notebook为此目的在开发集群上运行。

    一旦我对逻辑进行了原型(prototype)设计并且它按预期工作,我将 Scala 项目中的代码“工业化”,具有经典的构建生命周期:创建测试;由 Jenkins 构建、打包和创建工件。

    关于apache-spark - Apache Spark 应用程序工作流程,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30620387/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com