apache-spark - Sparkconf 和 Sparkcontext 有什么区别？

Question

当我制作 Import Pyspark from Sparkcontext 时，我遇到了 pyspark 的问题，但我发现它也可以从 sparkconf 导入，我是询问这两个 spark 类库有什么区别。

Answer 1

Sparkcontext 是spark 环境的入口点。对于每个 sparkapp，您需要创建 sparkcontext 对象。在 spark 2 中，您可以使用 sparksession 而不是 sparkcontext。

Sparkconf 类为您提供了提供配置参数的各种选项。

Val Conf = new sparkConf().setMaster(“local[*]”).setAppName(“test”)
Val SC  = new sparkContext(Conf)

spark 配置被传递到 spark context。您还可以在 sparkconf 中设置不同的应用程序配置并传递给 sparkcontex