apache-spark - Spark : Creating a RDD from a REST service

Question

Spark 中是否有任何开箱即用的功能可用于将 RDD 绑定(bind)到 REST 服务？也就是调用一个 Web 服务并获取一个 RDD。

或者是我自己调用其余服务并将结果集合转换为 RDD 的最简单方法？

谢谢。

Answer 1

我使用 jersey 客户端，读取一个字符串(每行一个完整的 json 文档)，并使用此字符串执行此操作:

val stringResponse = request.request().get(classOf[String])
val jsonDataset = session.createDataset[String](Seq(stringResponse))
// try with case class
val parsedResponse = session.read.json(jsonDataset)

...这会产生一个 DataFrame，您可以在其中选择内容。