输入参数为 Map 类型的 Java Spark UDF

Question

我的 Hive 表结构如下 -

create table sessionize_data (
ip                  string                                      
cookie                  string                                      
userid                  string                                      
dattime                 string                                      
timestamp               bigint                                      
referrer                string                                      
request                 string                                      
useragent               string                                      
absoluteips             string                                      
xff                     string                                      
calltype                string                                      
url                     string                                      
unique_visitor          string                                      
referrer_url            string                                      
referrer_dqp            map<string,string>                          
dqp                     map<string,string>                          
params                  map<string,string>                          
events_subcategory      map<string,string>                          
session_id              string                                      
source                  string                                      
dwelltime               string                                      
traffic                 string                                      
viewdate                string );

现在我想将 spark UDF 中的 params map 列作为参数传递 - 我使用以下代码完成了 -

spark.udf().register("populateUrl",
    new UDF3 < HashMap < String, String > , String, String, HashMap < String, String >> () {
        private static final long serialVersionUID = 1 L;
        @Override
        public HashMap < String, String > call(HashMap < String, String > params, String url_type, String source)
        throws Exception {
            // some operation here
            return params;
        }
    }, DataTypes.StringType);

当我使用上面的代码时，它给出了 Map 类型的类型错误。谁能建议如何构建接受 map 类型列并返回 map 类型列的 JAVA spark udf。谢谢。

Answer 1

根据_Spark SQL Programming Guide MapType 的外部类型是 java.util.Map 所以你应该实现:

UDF3<java.util.Map<String, String>, String, String, java.util.Map<String, String>>