json - 从spark scala中的多行文件中读取JSON文件

Question

我正在学习 Scala 中的 spark。我有一个 JSON 文件如下:

[
  {
    "name": "ali",
    "age": "13",
    "phone": "09123455737",
    "sex": "m"
  },{
    "name": "amir",
    "age": "24",
    "phone": "09123475737",
    "sex": "m"
  }
]

只有这段代码:

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val jsonFile = sqlContext.read.json("path-to-json-file")

我只收到 corrupted_row : String 没有别的但是当把每个人(或物体)放在一行时，代码工作正常

如何在 spark 中读取多行 JSON sqlContext？

Answer 1

您必须自己将其读入 RDD，然后将其转换为数据集:

spark.read.json(sparkContext.wholeTextFiles(...).values)