apache-spark - 等效于或替代Jupyter的Databricks display()函数

Question

我正在将当前的DataBricks Spark笔记本迁移到Jupyter笔记本，DataBricks提供了方便，美观的display(data_frame)功能以可视化Spark数据帧和RDD，但是Jupyter没有直接等效的功能(我不确定，但我认为它是DataBricks的特定功能)，我尝试过:

dataframe.show()

但这是它的文本版本，当您有很多列中断时，因此，我试图找到一种比display()更好的呈现Spark数据帧的方法，而不是show()函数。是否有与此等效或替代的方法？

Answer 1

当您使用Jupyter时，请使用myDF.limit(10).toPandas()。head()而不是df.show()。而且，有时，我们正在处理多个列，该列会截断 View 。
因此，只需将您的Pandas View 列配置设置为最大值即可。

# Alternative to Databricks display function.
import pandas as PD
pd.set_option('max_columns', None)

myDF.limit(10).toPandas().head()