postgresql - 使用 Spark 和 Scala 连接到本地 postgresql 数据库

Question

我正在运行 scala 版本 2.12.1。使用 IntelliJ，如何使用 spark 连接到我的本地 postgresql 数据库并运行 sql 命令来操作表？我有很多关于版本冲突的问题，那么是否也可以包含依赖项？

Answer 1

我建议你使用最新的 spark，即 2.2.0。对于您想做的事情，您需要 spark-core、spark-sql 和 postgresql jdbc 驱动程序依赖项。

对于 spark 使用这两个:

https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11/2.2.0 https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11/2.2.0

对于 postgresql 驱动程序，这个可能会很好:

https://mvnrepository.com/artifact/org.postgresql/postgresql/9.4.1212

Spark 可以通过 jdbc 连接到关系数据库，spark 文档中有一个章节:https://spark.apache.org/docs/latest/sql-programming-guide.html#jdbc-to-other-databases

来自同一文档:

// Loading data from a JDBC source
val jdbcDF = spark.read
  .format("jdbc")
  .option("url", "jdbc:postgresql://host/database")
  .option("dbtable", "schema.tablename")
  .option("user", "username")
  .option("password", "password")
  .load()

显然，您需要使用指定数据库的 url，对于 postgresql 连接 url，请参见 https://jdbc.postgresql.org/documentation/80/connect.html