java - Spark 流: How to efficiently save foreachRDD data into Mysql Database?

Question

我们要构建一个实时计算系统，还想将处理后的数据保存到Mysql数据库中，代码如下:

splitWordInfo.foreachRDD(new Function<JavaRDD<String>, Void>() {
        private static final long serialVersionUID = 1L;

        @Override
        public Void call(JavaRDD<String> rdd) throws Exception {
            rdd.foreachPartition(new VoidFunction<Iterator<String>>() {
                // Default Serial ID
                private static final long serialVersionUID = 1L;
                @Override
                public void call(Iterator<String> eachline) throws Exception {
                    String sql = "insert into test_mm(name,addr) values(?)";
                    Connection conn = DriverManager.getConnection("jdbc:mysql://xx.xx.xx.xx:3306/dbname", "user", "pass");
                    PreparedStatement stat = conn.prepareStatement(sql); 
                    while(eachline.hasNext()){
                        stat.setString(1, eachline.next());
                        stat.executeUpdate();
                    }
                    stat.close();
                    conn.close();
                }

            });
            return null;
        }
    });

它会为每个rdd或每个分区打开/关闭mysql连接吗？

以及如何高效地将foreachRDD数据保存到Mysql数据库中。有人可以帮我一个忙吗？

Answer 1

每个 RDD 分区就像一个单独的任务，您的程序将为每个分区获取一个连接。使用像 Hikari 或 Tomcat 这样的连接池库是很好的。但即使使用连接池，与数据库的通信也会产生成本。在这个模型中你无法避免这一点。