java - Oozie Java操作被杀死，然后由集群重新启动

Question

我正在使用oozie Java操作步骤来启动Java Main。这个Java应用程序进行了一些计算，然后根据该数据运行另一个map-reduce作业。
由于oozie java操作作为纯 map 作业运行，因此在作业跟踪器中也可以看到它。

我们的一个节点内存不足，因此任务跟踪器杀死了仅oozie map作业，然后在另一个节点上重新启动了该作业。
但是，在杀死它之前，java应用程序已经产生了自己的map reduce作业。
当oozie仅 map 作业在另一个节点上重新启动时，它再次生成了另一个 map 缩减作业，其数据与前一个相同。
在作业跟踪器中查找现在具有针对相同数据运行的重复的map-reduce作业。

您如何防止/管理/更改设置，以使oozie在仅映射过程中启动的Java程序仅运行一次，或者是否有必要限制Java应用程序使其能够多次运行。

任何帮助，将不胜感激，

肯

Answer 1

如果一个映射程序的引导作业由于主机内存不足而失败，那么在Oozie方面您无能为力。对于群集中的每个服务，此主机OOM方案都可能存在很大问题。

解决此问题的首选方法是通过仅在每个TaskTracker节点上允许尽可能多的映射和减少插槽(只要有可用内存)来确保主机根本不会用完内存。您可能还会发现，通过使用YARN资源管理框架而不是基于JobTracker的MapReduce(MR1)，这种向节点的资源分配更加有效和可调。