scala - 如何计算databricks notebook中命令单元的执行时间

Question

我需要知道在每个笔记本中执行命令单元列表所花费的时间。 Databricks 显示“命令需要 x 秒数”来执行。与显示的执行时间类似，我需要捕获在笔记本中执行所有命令所花费的时间。

Answer 1

我一直在使用以下内容:

val startTime = System.nanoTime
// your code goes here
val endTime = System.nanoTime

val elapsedSeconds = (endTime - startTime) / 1e9d

既然您提到您是新手，请不要忘记 Spark 使用延迟执行，因此执行包含转换的单元格的时间不是真正的执行时间。一定要包括一个 Action 来衡量真正的执行时间。