json - 使用架构中的所有键(包括空列)将 spark 数据集写入 json

Question

我正在使用以下方法将数据集写入 json:

ds.coalesce(1).write.format("json").option("nullValue",null).save("project/src/test/resources")

对于包含空值列的记录，json 文档根本不写入该键。

有没有办法对 json 输出强制执行空值键？

这是必需的，因为我使用此 json 将其读取到另一个数据集(在测试用例中)并且如果某些文档没有案例类中的所有键，则无法强制执行模式(我通过将 json 文件放在资源下来读取它文件夹并通过 RDD[String] 转换为数据集，如下所述: https://databaseline.bitbucket.io/a-quickie-on-reading-json-resource-files-in-apache-spark/ )

Answer 1

我同意@philantrovert。

ds.na.fill("")
  .coalesce(1)
  .write
  .format("json")
  .save("project/src/test/resources")

自 DataSets是不可变的，您不会更改 ds 中的数据并且您可以在以下任何代码中处理它(包括空值和全部)。您只是在保存的文件中用空字符串替换空值。