python - 查看 Spark Dataframe 列的内容

Question

我使用的是 Spark 1.3.1。

我正在尝试在 Python 中查看 Spark 数据框列的值。使用 Spark 数据框，我可以执行 df.collect() 来查看数据框的内容，但是据我所知，对于 Spark 数据框列没有这样的方法。

例如，数据帧 df 包含名为 'zip_code' 的列。所以我可以做 df['zip_code'] 并变成 pyspark.sql.dataframe.Column 类型，但我找不到查看值的方法df['zip_code'].

Answer 1

您可以访问底层 RDD 并对其进行映射

df.rdd.map(lambda r: r.zip_code).collect()

如果您不介意使用 Row 对象包装的结果，也可以使用 select:

df.select('zip_code').collect()

最后，如果你只是想检查内容，那么 show 方法就足够了:

df.select('zip_code').show()