gpt4 book ai didi

python - 改进 PySpark DataFrame.show 输出以适应 Jupyter 笔记本

转载 作者:行者123 更新时间:2023-11-28 17:06:42 27 4
gpt4 key购买 nike

在 Jupyter notebook 中使用 PySpark,与 Pandas DataFrames 的显示方式相比,Spark 的 DataFrame.show 的输出技术含量较低。我想“好吧,它完成了工作”,直到我得到这个:

enter image description here

输出未调整为笔记本的宽度,因此线条以难看的方式环绕。有没有办法自定义这个?更好的是,有没有办法获得 Pandas 风格的输出(显然无需转换为 pandas.DataFrame)?

最佳答案

现在是 possible natively从 Spark 2.4.0 开始,通过将 spark.sql.repl.eagerEval.enabled 设置为 True:

enter image description here

关于python - 改进 PySpark DataFrame.show 输出以适应 Jupyter 笔记本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50523950/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com