java - 使用 postgres 和 java 进行 Spark 插入操作

Question

我想使用 Spark SQLContext 向表中插入一条记录。

这是我为检索数据所做的示例代码

        Class.forName(dbDriver);

        Map<String, String> options = new HashMap<String, String>();
        options.put("url", dbUrl);
        options.put("dbtable", dbTable);
        options.put("driver", dbDriver);

        SparkConf conf = new SparkConf().setAppName("JAVA_SPARK")
                .setMaster("local[2]").set("spark.ui.port‌​", "7077");

        JavaSparkContext jsc = new JavaSparkContext(conf);

        SQLContext sqlContext = new SQLContext(jsc);

        DataFrame dframe = sqlContext.read().format("jdbc")
                .options(options).load();

        dframe.show();

如何向表中插入一条新记录？ dframe.show() 操作对我来说工作正常。

Answer 1

我想Spark-Sql目前还没有提供这样的功能，你可以自己实现方法，然后在foreach之类的action中调用它来实现当前场景的解决方案，

有关实现此功能的更多信息和最佳实践，请参阅此处:Inserting Analytic data from Spark to Postgres