python - 在 Spark 中关闭 MYSQL JDBC 连接

Question

我正在通过 JDBC 从 MYSQL 服务器加载数据到 Spark，但我需要在加载数据后关闭该连接。关闭连接的确切语法是什么？

df_mysql = sqlContext.read.format("jdbc").options(
  url="jdbc:mysql://***/****”,
  driver="com.mysql.jdbc.Driver",
  dbtable="((SELECT jobid, system, FROM Jobs LIMIT 500)  as T)",
  user=“*****”,
  password=“*****”).load()

我试过 dbtable.close()。那行不通。

Answer 1

这里真的没有什么可以关闭的。 DateFrame 对象不是 JDBC 连接，load 并不是真正的load 数据。它只是获取构建 DataFrame 所需的元数据。

只有当您执行包含依赖于此特定输入的任务并由相应的执行程序处理的作业时，才会进行实际的数据处理。负责管理连接和获取数据，并且此过程不向用户公开。