hadoop - Apache Spark JDBCRDD 使用 HDFS 吗？

Question

Apache Spark JDBCRDD 是否使用 HDFS 来存储数据库记录并将其分发到工作节点？我们正在使用 JdbcRDD 与 apache spark 上的数据库进行交互。我们想知道 Apache Spark 是使用 HDFS 来分发和存储数据库表记录还是工作节点直接与数据库交互。

Answer 1

JdbcRDD不使用HDFS，直接从JDBC连接读取数据到worker内存中的RDD。如果您想要 HDFS 上的结果，您必须明确地将 RDD 持久化到 HDFS。

你可以在这里看到 JdbcRDD 是如何运作的 https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/JdbcRDD.scala

RDD 必须实现一个compute 方法，该方法为 RDD 中每个分区的值返回一个迭代器。 JdbcRDD 实现只是包装了一个 JDBC 结果集迭代器:

override def getNext(): T = {
      if (rs.next()) {
        mapRow(rs)
      } else {
        finished = true
        null.asInstanceOf[T]
      }
}