python - 在 Python Spark 中查看 RDD 内容？

Question

在 pyspark 中运行一个简单的应用程序。

f = sc.textFile("README.md")
wc = f.flatMap(lambda x: x.split(' ')).map(lambda x: (x, 1)).reduceByKey(add)

我想使用 foreach 操作查看 RDD 内容:

wc.foreach(print)

这会引发语法错误:

SyntaxError: invalid syntax

我错过了什么？

Answer 1

此错误是因为 print 不是 Python 2.6 中的函数。

您可以定义执行打印的辅助 UDF，或使用 __future__将 print 视为函数的库:

>>> from operator import add
>>> f = sc.textFile("README.md")
>>> def g(x):
...     print x
...
>>> wc.foreach(g)

或

>>> from __future__ import print_function
>>> wc.foreach(print)

但是，我认为使用 collect() 将 RDD 内容带回驱动程序会更好，因为 foreach 在工作节点和输出上执行不一定会出现在您的驱动程序/外壳中(它可能会在 local 模式下，但在集群上运行时不会出现)。

>>> for x in wc.collect():
...     print x