java - 将结果集转换为数据框

Question

如果你们中有人能指导我将 scala(或 java)结果集转换为 Spark Dataframe，我会很高兴。

我不能使用这个符号:

val jdbcDF = spark.read
  .format("jdbc")
  .option("url", "jdbc:mysql://XXX-XX-XXX-XX-XX.compute-1.amazonaws.com:3306/")
  .option("dbtable", "pg_partner")
  .option("user", "XXX")
  .option("password", "XXX")
  .load()

所以在让我引用this similar question之前，请考虑在内。

我无法使用该表示法的原因是我需要使用我正在使用的当前版本的spark(2.2.0)中不存在的jdbc配置，因为我想使用一个“queryTimeout”选项最近已添加到spark 2.4版本中，因此我需要在ResultSet中使用它。

任何帮助将不胜感激。

提前谢谢您!

Answer 1

针对公共(public)源 mySQL 的工作示例

import java.util.Properties
import org.apache.spark.rdd.JdbcRDD
import java.sql.{Connection, DriverManager, ResultSet}
import org.apache.spark.implicits.

val url = "jdbc:mysql://mysql-rfam-public.ebi.ac.uk:4497/Rfam"
val username = "rfamro"
val password = ""
val myRDD = new JdbcRDD( sc, () => DriverManager.getConnection(url, username, password), "select rfam_id, noise_cutoff from family limit ?, ?", 1, 100, 10,                  
                    r => r.getString("rfam_id") + ", " + r.getString("noise_cutoff"))
val DF = myRDD.toDF
DF.show

返回:

+-------------------+
|              value|
+-------------------+
|    5_8S_rRNA, 41.9|
|           U1, 39.9|
|           U2, 45.9|
|         tRNA, 28.9|
|        Vault, 33.9|
|          U12, 52.9|
....
....