java - Hadoop - 为特定节点的 Mapper 中的每个 map() 函数创建类的单个实例

Question

我在 java 中有一个类似这样的类用于 hadoop MapReduce

public Class MyClass {
    public static MyClassMapper extends Mapper {
        static SomeClass someClassObj = new SomeClass();

        void map(Object Key, Text value, Context context) {
             String someText = someClassObj.getSomeThing();
        }
    }
}

我只需要 someClassObj 的单个实例可用于 map() 函数每个节点。如何实现？

如果您需要有关此主题的更多详细信息，请随时询问。

谢谢!

Answer 1

mapreduce.tasktracker.map.tasks.maximum (defaulted to 2)控制由 TaskTracker 同时运行的 map task 的最大数量。将此值设置为 1。

启动的每个 map task 都是一个单独的 JVM。同时将 mapreduce.job.jvm.numtasks 设置为 -1 到 reuse the JVM .

以上设置将使所有 map task 在单个 JVM 中顺序运行。现在，必须将 SomeClass 设为 singleton class。 .

这不是最佳实践，因为可以并行运行的 map task 数量较少，因此无法有效利用节点。此外，对于 JVM 重用，任务之间没有隔离，因此如果有任何内存泄漏，它将一直持续到 jvm 崩溃。