java - Mapper 类是在每个作业的基础上初始化的吗？

Question

我正在使用 Hadoop，我想使用静态变量来减少必须进行的方法调用次数。以下是我如何使用静力学:

public class Mapper<Types...> extends Mapper <Types...> {
    protected static volatile String myVar;

    @Override
    public final void setup(Context context) {
        if (myVar == null)
            myVar = context.getConfiguration().get("myOpt");
    }
}

我知道每个map任务都会初始化一个Mapper。我担心的是 Mapper 类本身被初始化一次，然后在作业之间保持初始化状态。因此，如果我运行 job1，myVar 将设置为“myOpt1”，然后我运行 job2，即使我传入了“myOpt2”，myVar 仍将保持为“myOpt1”。这种恐惧是没有根据的吗？谢谢。

Answer 1

如果您将 JVM 重用配置为大于 1 的值，那么 TaskTracker 可能会为计划在该任务跟踪器上运行的后续作业任务重用 JVM(因此 jvm 重用值为 5，有 10 个任务最终计划在任务跟踪器上运行意味着将生成一个 JVM，它将按顺序运行前 5 个任务，JVM 将停止，然后将生成第二个 JVM 以按顺序运行最后 5 个任务)。在这种情况下，静态变量将保留值，同时 JVM 为每个后续映射任务保持 Activity 状态。

这个属性是 mapred.job.reuse.jvm.num.tasks for v2 hadoop 和 mapreduce.job.jvm.numtasks for v2 onwards