scala - 如何在 Hue/Notebook/Scala/Spark 中漂亮地打印数据框？

Question

我在 HUE 3.12 笔记本中使用 Spark 2.1 和 Scala 2.11。我有一个可以像这样打印的数据框:

df.select("account_id", "auto_pilot").show(2, false)

输出看起来像这样:

+--------------------+----------+
|account_id          |auto_pilot|
+--------------------+----------+
|00000000000000000000|null      |
|00000000000000000002|null      |
+--------------------+----------+
only showing top 2 rows

有没有办法让数据框显示为漂亮的表格(比如当我从 Impala 或 pyspark 查询时)？

相同查询的 Impala 示例:

Answer 1

你可以使用魔法函数 %table ，但是这个函数只适用于数据集而不是数据框。一种选择是在打印前将数据框转换为数据集。

import spark.implicits._
case class Account(account_id: String, auto_pilot: String)

val accountDF = df.select("account_id", "auto_pilot").collect()
val accountDS: Dataset[Account] = accountDF.as[Account]

%table accountDS

目前这是我能想到的解决方案。其他更好的解决方案总是受欢迎的。我会在找到任何其他优雅的解决方案后立即对其进行修改。