java - 如何在 Spark 中运行分析？

Question

我是 Spark 新手。我还在学习。我有问题想征求意见。

1. 我必须为适合作为 Spark 作业运行的分析方法准备 jar 文件。

   • jar 是否必须可执行/可运行？

   • 我可以用几种方法将 jar 准备为库

2. 对于我的情况，我有分析的输入和输出

这里，我可以在spark中传递输入json并获取输出json吗？

步骤是什么？

任何帮助或阅读链接都会有帮助吗？

Answer 1

1. 您的第一个问题基本上是问如何使用 java API 运行 Spark。这是一些我认为您会发现有用的代码

SparkLauncher 启动器 = new SparkLauncher()
setAppName(config.getString("appName"))
.setSparkHome(sparkHomePath)
.setAppResource(pathToYourJar)
.setMaster(masterUrl)
.setMainClass(MainClass全名);您可能需要添加 launcher.addJar(...)

创建 SparkAppHandle.Listener 的实例SparkAppHandle 句柄 = launcher.startApplication(sparkJobListener);

“我可以在 Spark 中传递输入 json 并获取输出 json 吗？”如果您希望读取 JSON 作为输入，您可以按照此 link 中的说明进行操作。