web-services - 将 Spark RDD 上传到 REST webservice POST 方法

Question

坦率地说，我不确定这个功能是否存在？抱歉

我的要求是每天将 spark 分析数据发送到文件服务器，文件服务器支持通过 SFTP 和 REST Webservice post 调用进行文件传输。

最初的想法是将Spark RDD保存到HDFS，通过SFTP传输到文件服务器。我想知道是否可以通过从 spark 驱动程序类调用 REST 服务直接上传 RDD 而无需保存到 HDFS。数据大小小于2MB

抱歉我的英语不好!

Answer 1

Spark 没有特定的方法来做到这一点。对于这种数据大小，通过 HDFS 或其他类型的存储是不值得的。您可以在驱动程序的内存中收集该数据并直接发送。对于 POST 调用，您可以只使用普通的旧 java.net.URL，它看起来像这样:

import java.net.{URL, HttpURLConnection}

// The RDD you want to send
val rdd = ???

// Gather data and turn into string with newlines
val body = rdd.collect.mkString("\n")

// Open a connection
val url = new URL("http://www.example.com/resource")
val conn = url.openConnection.asInstanceOf[HttpURLConnection]

// Configure for POST request
conn.setDoOutput(true);
conn.setRequestMethod("POST");

val os = conn.getOutputStream;
os.write(input.getBytes);
os.flush;

可以在 this question 找到关于使用 java.net.URL 的更完整的讨论。 .您还可以使用 Scala 库来为您处理丑陋的 Java 内容，例如 akka-http或 Dispatch .