mysql - sparksql如何批量插入数据到mysql？

Question

全部。最近需要用sparksql向mysql中插入1亿左右的数据，但是速度很慢，大概需要1个小时。有人可以有一种有效的插入方式吗？

mysql配置=>

prop.setProperty("user", "user")
prop.setProperty("password", "password")
prop.setProperty("rewriteBatchedStatements", "true")
prop.setProperty("batchsize", "1000000")
prop.setProperty("numPartitions", "3000") 

Answer 1

尝试将 ?rewriteBatchedStatements=true 添加到您的 MySQL URI。你的 URI 应该是这样的:jdbc:mysql://host:port/db?rewriteBatchedStatements=true

希望对您有所帮助。

更新

试试吧，它对我有用。设置 driver 属性就可以了。

val prop = new Properties()

prop.setProperty("user", dbUser)
prop.setProperty("password", dbPassword)
prop.put("driver", "com.mysql.jdbc.Driver");

df.write.mode("append").jdbc("jdbc:mysql://" + dbHost + "/" + dbName + "?rewriteBatchedStatements=true", "TABLE_NAME", prop)

而且我还必须导入 Java MySQL 连接器。

    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>5.1.39</version>
    </dependency>