scala - 与take(10)和limit(10).collect()的性能比较

Question

我有一个包含数十亿条记录的数据框，我想从中取出10条记录。

哪种方法更快更好？
df.take(10)或df.limit(10).collect()？

Answer 1

这两种方法都将产生相同的性能，这仅仅是由于的实现与相同。

从github上的Spark实现

def take(n: Int): Array[T] = head(n)

而head的实现是:

def head(n: Int): Array[T] = withAction("head", limit(n).queryExecution)(collectFromPlan)

如您所见，head是通过使用 limit + collect完全实现的。

因此，它们会产生相同的性能，您测得的差异必须是随机变化，请尝试运行多次实验以克服它。