java - 将 jdbc 连接传递给 Spark 读取

Question

我有一个 sql 脚本，它创建仅对该 session 有效的临时表。现在运行脚本后，我尝试通过 Spark 从表中读取数据，然后对其进行处理。下面是我有 Spark 读取的代码。

sparkSession.read().format("jdbc").option("url", 
jdbcURL).option("dbtable", tableOrQuery).option("user", 
userName).option("password", password)
      .option("driver", driverName).load();

现在我需要传递我创建的jdbc连接，以便spark可以在同一 session 中读取数据。这可能吗？

Answer 1

不，您不能将 jdbc 连接传递给 Spark。它将自行管理 JDBC 连接。

JdbcRelationProvider Create Connection

JdbcUtils connect