java - 如何将配置从配置单元脚本传递到 UDF

Question

在 pig 中，您可以通过 UDFContext 将 pig 脚本中的配置传递给 pig UDF。例如，

// in pig script
SET my.conf dummy-conf

// in UDF java code
Configuration conf = UDFContext.getUDFContext().getJobConf();
String myConf = conf.get("my.conf");

那么，是否有类似的方法将配置从配置单元脚本传递到配置单元 UDF？例如，如果我在配置单元脚本中设置了 set MY_CONF='foobar'，我如何在需要使用 MY_CONF 值的 java UDF 中检索它？

Answer 1

除了扩展 UDF 类，您可以尝试子类化 GenericUDF。此类具有以下您可以覆盖的方法:

/**
 * Additionally setup GenericUDF with MapredContext before initializing.
 * This is only called in runtime of MapRedTask.
 *
 * @param context context
 */
public void configure(MapredContext context) {
}

MapredContext 有一个类似于 Pig 中的 UDFContext 的方法来检索作业配置。因此，您只需执行以下操作:

@Override
public void configure(MapredContext context) {
    Configuration conf = context.getJobConf();  
}