scala - 如何在apache spark中使用kafka主题中的scala读取json数据

Question

我是新的 Spark ，你能否让我知道如何使用 apache spark 中 kafka 主题中的 scala 读取 json 数据。

谢谢。

Answer 1

最简单的方法是使用 Spark 附带的 DataFrame 抽象。

val sqlContext = new SQLContext(sc)
val stream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](
                  ssc, kafkaParams, Set("myTopicName"))

stream.foreachRDD(
  rdd => {
     val dataFrame = sqlContext.read.json(rdd.map(_._2)) //converts json to DF
     //do your operations on this DF. You won't even require a model class.
        })