apache-spark - spark中select和filter的顺序有偏好吗？

Question

我们有两种方法从 spark 数据帧 df 中选择和过滤数据。第一:

df = df.filter("filter definition").select('col1', 'col2', 'col3')

第二个:

df = df.select('col1', 'col2', 'col3').filter("filter definition")

假设我们想在那之后调用count 的 Action 。如果我们可以更改 filter 和 select 在 spark 中的位置(我的意思是在我们从选定列而不是更多列中使用的过滤器的定义中)，哪一个性能更高？为什么？ filter 和 select 是否交换不同的操作有什么区别吗？

Answer 1

Spark(1.6及以上版本)使用catalyst optimiser对于查询，性能较差的查询将转换为高效的查询。

只是为了确认您可以调用 dataframe 上的 explain(true) 来检查其优化计划，这对于两个查询都是相同的。

Query1 计划:

Query2 计划:

PS:新变化是引入cost based optimiser.