apache-spark - pySpark 使用键/值从 RDD 创建数据帧

Question

如果我有一个键/值的 RDD(键是列索引)，是否可以将它加载到数据帧中？
例如:

(0,1), (0,1), (0,2), (1,2), (1,10), (1,20), (3,18), (3,18), (3,18)

并让数据框看起来像:

1,2,18
1,10,18
2,20,18

Answer 1

是的，这是可能的(用 Spark 1.3.1 测试):

>>> rdd = sc.parallelize([(0,1), (0,1), (0,2), (1,2), (1,10), (1,20), (3,18), (3,18), (3,18)])
>>> sqlContext.createDataFrame(rdd, ["id", "score"])
Out[2]: DataFrame[id: bigint, score: bigint]