python - 从 Pyspark DataFrame 中的选定行获取特定字段

Question

我有一个通过 pyspark 从 JSON 文件构建的 Spark DataFrame

sc = SparkContext()
sqlc = SQLContext(sc)

users_df = sqlc.read.json('users.json')

现在，我想访问一个 chosen_user 数据，这是它的 _id 字段。我能行

print users_df[users_df._id == chosen_user].show()

这给了我完整的用户行。但是假设我只想要 Row 中的一个特定字段，比如用户性别，我该如何获取它？

Answer 1

只需过滤并选择:

result = users_df.where(users_df._id == chosen_user).select("gender")

或使用col

from pyspark.sql.functions import col

result = users_df.where(col("_id") == chosen_user).select(col("gender"))

最后 PySpark Row 只是一个带有一些扩展的 tuple 所以你可以例如 flatMap:

result.rdd.flatMap(list).first()

或 map 像这样:

result.rdd.map(lambda x: x.gender).first()