apache-spark - 如何将spark sql数据框的摘要写入excel文件

Question

我有一个非常大的数据框，有 8000 列和 50000 行。我想把它的统计信息写入excel文件。我想我们可以使用 describe() 方法。但是如何以良好的格式编写它以使其脱颖而出。谢谢

Answer 1

describe 的返回类型是一个 pyspark 数据帧。将 describe 数据框转换为 excel 可读格式的最简单方法是将其转换为 pandas 数据框，然后将 pandas 数据框写为 csv 文件，如下所示

import pandas
df.describe().toPandas().to_csv('fileOutput.csv')

如果你想要excel格式的，可​​以试试下面

import pandas
df.describe().toPandas().to_excel('fileOutput.xls', sheet_name = 'Sheet1', index = False)

注意，以上需要安装xlwt包(命令行pip install xlwt)