mysql - 如何将 Spark DataFrame 与 MySQL 结合使用

Question

好的，我知道我可以使用 jdbc 连接器通过以下命令创建 DataFrame:

val jdbcDF = sqlContext.load("jdbc", 
Map("url" -> "jdbc:mysql://localhost:3306/video_rcmd?user=root&password=123456",
"dbtable" -> "video"))

但我收到此错误:java.sql.SQLException:找不到适合的驱动程序...

我尝试使用这两个命令将 jdbc jar 添加到 Spark_path 但失败了:

• spark-shell --jars mysql-connector-java-5.0.8-bin.jar
• SPARK_CLASSPATH=mysql-connector-java-5.0.8-bin.jar Spark-shell

我的 Spark 版本是 1.3.0，而 Class.forName("com.mysql.jdbc.Driver").newInstance 有效。

Answer 1

这是因为数据框在类路径中找到了Mysql Connector Jar。这可以通过将 jar 添加到 Spark 类路径来解决，如下所示:

编辑/spark/bin/compute-classpath.sh 为

CLASSPATH="$CLASSPATH:$ASSEMBLY_JAR:yourPathToJar/mysql-connector-java-5.0.8-bin.jar"

保存文件并重新启动 Spark。