apache-spark - 如何获取Pyspark中RDD的大小？

Question

我对Apache Spark和Python相对较新，并且想知道如何获得RDD的大小。我有一个RDD看起来像这样:

[[‘ID: 6993.1066',
  'Time: 15:53:43',
  'Lab: West',
  'Lab-Tech: Nancy McNabb, ',
  '\tBob Jones, Harry Lim, ',
  '\tSue Smith, Will Smith, ',
  '\tTerry Smith, Nandini Chandra, ',
  ]]

pyspark中是否有方法或函数可以确定RDD中有多少个元组？上面的一个有7。

Scala类似于:myRDD.length。

Answer 1

对于RDD单个元素的大小，这似乎是一种方法

>>> rdd = sc.parallelize([(1,2,'the'),(5,2,5),(1,1,'apple')])
>>> rdd.map(lambda x: len(x)).collect()
[3, 3, 3]

对于RDD内的整体元素计数

>>> rdd.count()
3