dataframe - spark 选择列返回旧数据框的引用

Question

我使用以下代码:

random = [("ABC",xx, 1), 
          ("DEF",yy,1), 
          ("GHI",zz, 0) 
         ]
randomColumns = ["name","id", "male"]
randomDF = spark.createDataFrame(data=random, schema = randomColumns)
test_df = randomDF.select("name", "id")
test_df.filter(f.col("male") == '1').show()

从上面的代码来看，我预计它会导致错误，因为对于 test_df，我没有从原始数据框中选择男性列。令人惊讶的是，上面的查询运行得很好，没有任何错误，并输出以下内容:

+---------+-------+
|name     |     id|
+---------+-------+
|      abc|     xx|
|      def|     yy|
+---------+-------+

我想了解 spark 背后的逻辑。根据 spark 文档 Select 返回一个新的数据框。那为什么它仍然能够使用父数据框中的男性列。

Answer 1

这是Spark生成的DAG造成的。一些运算符(或 transformers)是惰性执行的，因此它们为 Spark 优化 DAG 铺平了道路。

在这个例子中，有两个主要步骤:首先是select(或者SQL术语中的project)，然后是filter。但是在其实执行的时候，先filter，再select，因为这样效率更高。

可以通过explain()方法验证这个结论:

test_df.filter(f.col("flag") == '1').explain()

它会输出:

== Physical Plan ==
*(1) Project [dept_name#0, dept_id#1L]
+- *(1) Filter (isnotnull(flag#2L) AND (flag#2L = 1))
   +- *(1) Scan ExistingRDD[dept_name#0,dept_id#1L,flag#2L]