java - 为什么我不能使用 callUDF 方法？

Question

我使用 spark 1.6.1，并使用 java 编写代码。当我使用 callUDF() 时，它显示

The method callUDF(String, Column) is undefined for the type PhaseOne

并且 callUdf() 不起作用。我的代码如下:

sqlContext.udf().register("stringToLong", new UDF1<String, Long>() {

        @Override
        public Long call(String arg0) throws Exception {
            // TODO Auto-generated method stub
            IPTypeConvert itc = new IPTypeConvert();
            return itc.stringtoLong(arg0);
        }
    }, DataTypes.LongType);
    DataFrame interDF = initInterDF.withColumn("interIPInt", callUDF("stringToLong", initInterDF.col("interIP")));

Answer 1

必须在开头加上:

import static org.apache.spark.sql.functions.callUDF;

然后使用它:

sqlContext.udf().register("stringToLong", new UDF1<String, Long>() {

        @Override
        public Long call(String arg0) throws Exception {
            // TODO Auto-generated method stub
            IPTypeConvert itc = new IPTypeConvert();
            return itc.stringtoLong(arg0);
        }
    }, DataTypes.LongType);
DataFrame interDF = initInterDF.withColumn("interIPInt", callUDF("stringToLong", initInterDF.col("interIP")));