apache-spark - 如何更新Apache Spark DataFrame中的行/列值？

Question

我有一个有序的Spark DataFrame，我想使用以下代码在迭代时更改几行，但是似乎没有任何方法可以更新Row对象。

orderedDataFrame.foreach(new Function1<Row,BoxedUnit>(){

@Override
public BoxedUnit apply(Row v1) {
// How do I change Row here? 
// I want to change column no 2 using v1.get(2)
// also what is BoxedUnit, and how do I use it
return null;
}
});

上面的代码也给出了编译错误，说:

myclassname is not abstract and it does not override abstract method apply$mcVj$sp(long) in scala Function 1

我是Spark的新手。我正在使用1.4.0版本。

Answer 1

试试这个:

 final DataFrame withoutCurrency = sqlContext.createDataFrame(somedf.javaRDD().map(row -> {
            return RowFactory.create(row.get(0), row.get(1), someMethod(row.get(2)));
        }), somedf.schema());