sql - 如何为 Spark SQL DataFrame 映射构造 ClassTag？

Question

Spark SQL 1.2.0 查询返回 JavaRDD。 Spark SQL 1.3.0 查询返回 DataFrame。通过 DataFrame.toJavaRDD 将 DataFrame 转换为 JavaRDD 似乎需要相当多的时间。我尝试使用 DataFrame.map() 并遇到一个令人费解的问题:

DataFrame df = sqlSC.sql(sql);
RDD<String> rdd = df.map(new AbstractFunction1<Row, String> (){

        @Override
        public String apply(Row t1) {
            return t1.getString(0);
        }


    }, ?); 

“？”应该是 scala.reflect.ClassTag。我使用了 ClassManifestFactory.fromClass(String.class) 但它没有用。我应该把什么放在“？”。

顺便说一下， http://spark.apache.org/docs/1.3.0/sql-programming-guide.html 给出的例子的 与 RDD 互操作 部分 Java 代码未更正:它使用了“map(new Function() {”。那里的“Function”是 Not Acceptable 。它应该是“Function1”。

Answer 1

尝试这个:

RDD<String> rdd = df.map(new AbstractFunction1<Row, String> (){

    @Override
    public String apply(Row t1) {
        return t1.getString(0);
    }


}, scala.reflect.ClassManifestFactory.fromClass(String.class));