python - PySpark 数据框 approxQuantile 将结果作为列表返回

Question

我正在使用以下函数从“Apple”和“Oranges”两列中获取百分位数。但是，我将结果作为列表返回。

df.approxQuantile(['Apple', 'Oranges'],[0.1, 0.25, 0.5, 0.75, 0.9, 0.95],0.1)

我想以列的形式返回结果。任何建议:

期望的输出:

+-------+--------------------+---------------------+
|Percentile |               Apple|      Oranges    |
+-------+--------------------+---------------------+
|  10      |              50     |              502|
|  25      |              12     |              431|
|  50      |              1.15   |             5065|
|  75      |              3224   |             1275|
|  90      |              2234   |              100|
+-------+--------------------+---------------------+

Answer 1

由于 API 是以特定方式设计的，因此除了转换结果之外，您在此处无能为力:

percentiles = [0.1, 0.25, 0.5, 0.75, 0.9, 0.95]
columns = ["Apple", "Oranges"]

spark.createDataFrame(
    zip(percentiles, *df.approxQuantile(columns, percentiles, 0.1)), 
    ["Pecentile"] + columns
)