scala - 如何使用toDF创建带有空值的DataFrame？

Question

如何使用 .toDF 从序列中创建包含空值的数据帧？

这有效:

val df = Seq((1,"a"),(2,"b")).toDF("number","letter")

但我想做一些类似的事情:

val df = Seq((1, NULL),(2,"b")).toDF("number","letter")

Answer 1

NULL未在 API 中定义除了 null 之外的任何地方是，所以你可以定义像

val df2 = Seq((1, null), (2, "b")).toDF("number","letter")

你应该有输出

+------+------+
|number|letter|
+------+------+
|1     |null  |
|2     |b     |
+------+------+

诀窍是为具有空值的列使用两个或多个值来定义 Spark SQL 应该使用的类型。

以下将不起作用:

val df = Seq((1, null)).toDF("number","letter")

在这种情况下，Spark 无法知道字母的类型。