hadoop - 1个Tasktracker能否运行多个JVM

Question

1 个 Tasktracker 可以运行多个 JVM 吗？

场景如下:

假设有 2 个文件(A 和 B)和 2 个数据节点(D1 和 D2)。

当您加载 A 时，假设它在 D1 和 D2 上拆分为 A1 和 A2当您加载 B 时，假设它在 D1 和 D2 上拆分为 B1 和 B2。

出于某种原因让我们假设 D1 正忙于其他一些任务并且 D2 可用并且有几个作业已提交，一个使用文件 A，另一个使用文件 B。

现在 D2 可用并且具有 block A2 和 B2。JobTracker会在D2上提交代码给TaskTracker，同时运行A2和B2的任务还是它会先运行 A2 并在完成后运行 B2 吗？

如果是这样，是否有可能并行运行这两个任务，这意味着 1 个 TaskTracker 和 2 个 jvm，或者它会在 D2 上创建/生成 2 个 TaskTracker？

Answer 1

默认情况下，Task Tracker 会为每个任务生成一个 JVM。您可以通过设置此配置参数来重用 jvms:mapred.job.reuse.jvm.num.tasks