apache-spark - Spark : how to get the number of written rows?

Question

我想知道是否有办法知道 Spark 保存操作写入的行数。我知道在写之前对 RDD 进行计数就足够了，但我想知道是否有办法在不这样做的情况下获得相同的信息。

谢谢，
马可

Answer 1

如果你真的想要你可以添加自定义监听器并从 outputMetrics 中提取写入的行数.非常简单的示例如下所示:

import org.apache.spark.scheduler.{SparkListener, SparkListenerTaskEnd}

var recordsWrittenCount = 0L

sc.addSparkListener(new SparkListener() { 
  override def onTaskEnd(taskEnd: SparkListenerTaskEnd) {
    synchronized {
      recordsWrittenCount += taskEnd.taskMetrics.outputMetrics.recordsWritten 
    }
  }
})

sc.parallelize(1 to 10, 2).saveAsTextFile("/tmp/foobar")
recordsWrittenCount
// Long = 10

但这部分 API 是供内部使用的。