pandas - pyspark 在 ipython 笔记本中将数据框显示为带有水平滚动的表格

Question

pyspark.sql.DataFrame 使用 DataFrame.show() 显示困惑 - 换行而不是滚动。

但显示为pandas.DataFrame.head

我尝试了这些选项

import IPython
IPython.auto_scroll_threshold = 9999

from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"
from IPython.display import display

但没有运气。尽管在带有 jupyter 插件的 Atom 编辑器中使用时滚动可以工作:

Answer 1

这是一个解决方法

spark_df.limit(5).toPandas().head()

虽然，我不知道这个查询的计算负担。我认为 limit() 并不昂贵。欢迎指正。