python - 从 takeOrdered 返回一个 RDD，而不是一个列表

Question

我正在使用 pyspark 进行一些数据清理。一个非常常见的操作是获取文件的一小部分并将其导出以供检查:

(self.spark_context.textFile(old_filepath+filename)
    .takeOrdered(100) 
    .saveAsTextFile(new_filepath+filename))

我的问题是 takeOrdered 返回的是列表而不是 RDD，因此 saveAsTextFile 不起作用。

AttributeError: 'list' object has no attribute 'saveAsTextFile'

当然，我可以实现自己的文件编写器。或者我可以使用并行化将列表转换回 RDD。但我想在这里成为一个 Spark 纯粹主义者。

有没有办法从 takeOrdered 或等效函数返回 RDD？

Answer 1

takeOrdered() 是一个 action and not a transformation所以你不能让它返回一个 RDD。
如果不需要排序，最简单的替代方法是 sample()。
如果确实需要排序，可以尝试组合使用 filter() 和 sortByKey() 来减少元素数量并对它们进行排序。或者，按照您的建议，重新并行化 takeOrdered()

的结果