json - 在 Apache Spark 中读取多行 JSON

Question

我试图使用 JSON 文件作为小型数据库。在 DataFrame 上创建模板表后，我用 SQL 查询它并得到一个异常。这是我的代码:

val df = sqlCtx.read.json("/path/to/user.json")
df.registerTempTable("user_tt")

val info = sqlCtx.sql("SELECT name FROM user_tt")
info.show()

df.printSchema() 结果:

root
 |-- _corrupt_record: string (nullable = true)

我的 JSON 文件:

{
  "id": 1,
  "name": "Morty",
  "age": 21
}

异常(exception):

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'name' given input columns: [_corrupt_record];

如何修复它？

UPD

_corrupt_record 是

+--------------------+
|     _corrupt_record|
+--------------------+
|                   {|
|            "id": 1,|
|    "name": "Morty",|
|           "age": 21|
|                   }|
+--------------------+

UPD2

这很奇怪，但是当我重写 JSON 使其成为 oneliner 时，一切正常。

{"id": 1, "name": "Morty", "age": 21}

所以问题出在换行中。

UPD3

我在文档中找到了下一句话:

Note that the file that is offered as a json file is not a typical JSON file. Each line must contain a separate, self-contained valid JSON object. As a consequence, a regular multi-line JSON file will most often fail.

以这种格式保存 JSON 并不方便。是否有任何解决方法可以摆脱 JSON 的多行结构或将其转换为单行结构？

Answer 1

Spark >= 2.2

Spark 2.2引入了wholeFile multiLine选项，可用于加载JSON(不是JSONL)文件:

spark.read
  .option("multiLine", true).option("mode", "PERMISSIVE")
  .json("/path/to/user.json")

参见:

• SPARK-18352 - 解析普通的多行 JSON 文件(不仅仅是 JSON 行)。
• SPARK-20980 - 将 JSON 和 CSV 的选项 wholeFile 重命名为 multiLine。

Spark <2.2

嗯，使用 JSONL 格式的数据可能不方便，但我认为这不是 API 的问题，而是格式本身的问题。 JSON 根本就不是为了在分布式系统中并行处理而设计的。

它不提供模式，并且如果不对其格式和形状做出一些非常具体的假设，则几乎不可能正确识别顶级文档。可以说，这是在 Apache Spark 等系统中使用的最糟糕的格式。在分布式系统中编写有效的 JSON 也非常棘手且通常不切实际。

话虽这么说，如果单个文件是有效的 JSON 文档(单个文档或文档数组)，您可以随时尝试 wholeTextFiles:

spark.read.json(sc.wholeTextFiles("/path/to/user.json").values())