java - Spark javaRDD 输出到数据库

Question

请帮助我了解将 spark javaRDD 的输出保存到数据库中的最佳方法是什么？

我应该编写spark java代码将RDD保存到数据库中吗？这种方法有什么缺点？

或者我应该使用sqoop将输出文件保存到数据库中？

还有其他办法吗？

谢谢

Answer 1

使用数据框并将数据保存到sql server中

SQLContext sqlcontext=new SQLContext(context);
DataFrame outDataFrame=sqlcontext.createDataFrame(finalOutPutRDD, WebHttpOutPutVO.class);
Properties prop = new java.util.Properties();
prop.setProperty("database", "Web_Session");
prop.setProperty("user", "user");
prop.setProperty("password", "pwd@123");
prop.setProperty("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver");
outDataFrame.write().mode(org.apache.spark.sql.SaveMode.Append).jdbc("jdbc:sqlserver://<Host>:1433", "test_table", prop);