python - 从pyspark DataFrame中提取数据

Question

我有一个看起来像这样的结果 DF:

+--------------------+----------+
|                name|prediction|
+--------------------+----------+
|         "Mazda RX4"|         0|
|     "Mazda RX4 Wag"|         0|
|        "Datsun 710"|         1|
|    "Hornet 4 Drive"|         0|
| "Hornet Sportabout"|         2|
|           "Valiant"|         0|
|        "Duster 360"|         2|
|         "Merc 240D"|         1|
|          "Merc 230"|         1|
|          "Merc 280"|         0|
|        "Merc 450SE"|         3|
|        "Merc 450SL"|         3|
+--------------------+----------+

我想获得一个列表列表，其中每个列表都包含类似预测的名称。所以一个列表是:

["Mazda RX4", "Mazda RX4 Wag", "Hornet 4 Drive",  "Valiant", "Merc 230"]

我试过做 result.groupBy('prediction').collect()但没有用。而且我也不能用循环迭代 DF。请帮忙。

Answer 1

试试 过滤器 然后 groupBy+ aggregate

from pyspark.sql.functions import *

df.\
filter(col("prediction")==0).\
groupBy("prediction").\
agg(collect_list(col("name"))).\
collect()[0][1]

#result
#["Mazda RX4", "Mazda RX4 Wag", "Hornet 4 Drive",  "Valiant", "Merc 230"]