python - 根据其他列值从 DataFrame 获取值 (PySpark)

Question

我有一个 Spark 数据框，我想获取统计信息

stats_df = df.describe(['mycol'])
stats_df.show()

+-------+------------------+
|summary|             mycol|
+-------+------------------+
|  count|               300|
|   mean|              2243|
| stddev|  319.419860456123|
|    min|              1400|
|    max|              3100|
+-------+------------------+

如何使用 summary min 提取 mycol 中 min 和 max 的值 最大列值？如何通过数字索引来做到这一点？

Answer 1

您可以轻松地从该数据帧上的选择中分配变量。

x = stats_df.select('mycol').where('summary' == 'min')