Python Spark 数据帧 : Better way to export groups to text file

Question

我想将数据导出到单独的文本文件；我可以用这个 hack 来做到这一点:

for r in sqlContext.sql("SELECT DISTINCT FIPS FROM MY_DF").map(lambda r: r.FIPS).collect():
    sqlContext.sql("SELECT * FROM MY_DF WHERE FIPS = '%s'" % r).rdd.saveAsTextFile('county_{}'.format(r))

使用 Spark 1.3.1/Python 数据帧的正确方法是什么？我想在一份工作中完成，而不是 N(或 N + 1)份工作。

可能是:

saveAsTextFileByKey()

Answer 1

Spark 通常没有带多个输出的 RDD 操作。但是对于写文件有一个很好的技巧:Write to multiple outputs by key Spark - one Spark job