apache-spark - 使用并行化创建键/值对 RDD？

Question

Spark API docs为使用并行化创建 RDD 提供以下定义:

parallelize(c, numSlices=None)

Distribute a local Python collection to form an RDD. Using xrange is recommended if the input represents a range for performance.

>>> sc.parallelize([0, 2, 3, 4, 6], 5).glom().collect()
[[0], [2], [3], [4], [6]]
>>> sc.parallelize(xrange(0, 6, 2), 5).glom().collect()
[[], [0], [], [2], [4]]

我想创建一个键/值对 RDD，如何使用并行化来实现？示例输出 RDD:

key    |  value
-------+-------
panda  |  0
pink   |  3
pirate |  3
panda  |  1
pink   |  4

Answer 1

sc.parallelize([("panda", 0), ("pink", 3)])