python - Spark : What's the difference between spark. sql 和 sqlCtx.sql

Question

在使用 pyspark 的 Spark 2.1 中，如果您想查询表(例如从 HDP)，您可以运行两者

df = sqlCtx.sql(''' select * from table ''') 

和

df = spark.sql(''' select * from table ''')

为什么你会做其中一个而不是另一个？两者有什么区别。

Answer 1

sqlCtx 是启动时创建的默认SQLContext。 spark 是启动时创建的默认 SparkSession。根据 SQLContext 的文档SparkSession 是 SQLContext 的替代品:

As of Spark 2.0, this is replaced by SparkSession. However, we are keeping the class here for backward compatibility.