scala - 如何使用Spark对MySQL(JDBC)进行join？

Question

我想通过Spark从MySQL读取数据。我看到的 API 能够从特定表中读取数据。类似的东西，

val prop = new java.util.Properties
prop.setProperty("user", "<username>")
prop.setProperty("password", "<password>")

sparkSession.read.jdbc("jdbc:mysql://????:3306/???", "some-table", prop)

现在，我想对连接表执行查询。有谁知道如何做到这一点(在数据库方面，而不是使用 Spark SQL)？

谢谢

埃兰

Answer 1

您需要使用“table”参数作为查询:

val table = "(SELECT foo JOIN bar ON foo.id = bar.id) as t"

spark.read.jdbc("jdbc:mysql://????:3306/???", table, prop)

您应该注意，为查询提供别名很重要，否则将不起作用。