hadoop - Hadoop每个 map 作业流式传输多个文件

Question

我有一个可以运行的Hadoop流设置，但是初始化映射器时会产生一些开销，每个文件执行一次，并且由于我正在处理许多文件，所以我注意到我在初始化上花费了大量时间。

有没有一种方法，无需编写任何Java，即可指定我要对多个文件重用同一映射器实例以摊销初始化费用？

Answer 1

在$HADOOP_HOME/conf/mapred-site.xml中添加/编辑follow属性

<property>
    <name>mapred.job.reuse.jvm.num.tasks</name>
    <value>#</value>
</property>

可以将 #设置为一个数字，以指定要重用JVM的次数(默认为1)，也可以设置为-1，以限制重用量。

也可以通过将作业配置 mapred.job.reuse.jvm.num.tasks设置为所需的值来为每个作业指定它。