scala - 为什么 dataset.count() 比 rdd.count() 快？

Question

我创建了一个 Spark Dataset[Long] :

scala> val ds = spark.range(100000000)
ds: org.apache.spark.sql.Dataset[Long] = [id: bigint]

当我跑 ds.count它给了我 0.2s 的结果(在 4 核 8GB 机器上)。此外，它创建的 DAG 如下:



但是，当我跑 ds.rdd.count它给了我 4s 的结果(同一台机器)。但是它创建的DAG是这样的:



所以，我的疑惑是:

为什么ds.rdd.count仅创建一个阶段，而 ds.count正在创建 2 个阶段？

此外，当 ds.rdd.count只有一个阶段，那么为什么它比 ds.count 慢其中有 2 个阶段？

Answer 1

Why ds.rdd.count is creating only one stage whereas ds.count is creating 2 stages ?

这两个计数实际上都是两步操作。区别在于 ds.count的情况下，最终聚合由其中一个执行者执行，而 ds.rdd.count aggregates the final result on the driver ，因此这一步没有反射(reflect)在 DAG 中:

Also, when ds.rdd.count is having only one stage then why it is slower

同上。此外 ds.rdd.count必须初始化(以及后来的垃圾收集) 1 亿 Row对象，几乎是免费的，并且可能占了这里的大部分时间差异。

最后 range -like 对象不是一个好的基准测试工具，除非非常谨慎地使用。根据上下文计数，范围内可以表示为恒定时间操作，即使没有显式优化也可以非常快(参见例如 spark.sparkContext.range(0, 100000000).count)，但不会反射(reflect)实际工作负载的性能。

相关: How to know which count query is the fastest?