java - 无法使用 AWS EMR 实例通过 spark 访问 JDBC 驱动程序

Question

当我通过 ssh 进入 EMR spark-shell --packages org.postgresql:postgresql:9.4-1206-jdbc42 后运行 spark-shell 时，我已经安装了 postgresql 驱动程序包。然后我导入 org.postgresql。我想创建一个 spark Dataframe 对象，所以我尝试从 s3 实例访问一个表。

sqlContext.load("jdbc", Map("url"-> "jdbc:postgresql://pathto.table.region.rds.amazonaws.com:5432/table?user=username&password=password","dbtable"-> "表"))

这给了我一个 java.sql.SQLException: No suitable driver 错误。

我调查了this有类似问题的问题。但我希望能够通过 spark-shell 运行驱动程序。

Answer 1

如果我没记错的话，(抱歉，我现在没有电脑来测试它)您需要在您的选项映射中明确设置驱动程序类。

sqlContext.load("jdbc", 
         Map("driver" -> "org.postgresql.Driver", 
             "url" -> "jdbc:postgresql://pathto.table.region.rds.amazonaws.com:5432/table?user=username&password=password",
             "dbtable" -> "table"))

PS:我正在手机上写这个答案，请原谅最后的错别字。但我认为你明白了。