mysql - 带有 Spark 和 MySQL 元数据存储的 Hive

Question

我正在尝试使用 Hive 和 MySQL 支持的元数据存储配置 Apache Spark。我收到以下异常

Caused by: java.sql.SQLException: No suitable driver found for jdbc:mysql://<correct-information>

我能够使用以下命令启动 spark-shell

bin/spark-shell --jars /usr/share/java/mysql-connector-java.jar

然后我运行了以下命令

scala> Class.forName("com.mysql.jdbc.Driver")
res0: Class[_] = class com.mysql.jdbc.Driver

scala> new org.apache.spark.sql.hive.HiveContext(sc).sql("select * from table limit 1").first

我得到的异常(exception)情况很多，但这是最重要的

Unable to open a test connection to the given database. JDBC url = jdbc:mysql://<hostname>/metastore, username = hiveuser. Terminating connection pool. Original Exception: ------
java.sql.SQLException: No suitable driver found for jdbc:mysql://<hostname>/metastore

这个非常简单的查询在配置单元命令行中运行良好。第一个spark命令显示mysql JDBC驱动在classpath中，但是好像还是找不到。有人有什么想法吗？

谢谢

Answer 1

事实证明，正确的 Spark 标志是 --driver-class-path