hadoop - Spark 从 Standalone 切换到 Yarn-Client 需要改变什么？

Question

目前我们有一个程序是一个 web 服务，接收 SQL 查询并使用 SQLContext 来响应。该程序现在处于独立模式，我们将 spark.master 设置为特定的 URL。结构如下:

object SomeApp extends App
{
    val conf = new SparkConf().setMaster("spark://10.21.173.181:7077")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    while(true)
    {
        val query = Listen_to_query()
        val response = sqlContext.sql(query)
        send(response)
    }
}

现在我们要把系统迁移到 Spark on Yarn 上，看来应该使用 submit 来提交作业到 yarn。在 yarn 上部署这样一个不会像普通“工作”那样停止的“服务”会很奇怪。但是我们不知道如何将“作业”与我们的程序分开。

您有什么建议吗？谢谢!

Answer 1

因此，如果您只想将作业提交给 yarn，只需更改 master 参数即可。然而，听起来您正在寻找一个长期运行的共享 Spark 上下文，并且有一些类似的选项。有 https://github.com/spark-jobserver/spark-jobserver和 https://github.com/ibm-et/spark-kernel .