hadoop - 是否有任何Pig Map任务完成 Hook ？

Question

我有一段代码要在Pig产生的每个 map task 的末尾运行，以执行我的工作。换句话说，我需要在退出 map task 之前执行一些任务。这是我的研究结果:

我们可以调用PigProgressNotificationListener.jobFinishedNotification()，但是在整个作业完成时调用此方法，而不是在每个(内部)映射器任务完成时调用此方法。

UDF中的Finish方法:在UDF的末尾调用，不符合我的要求。

我是MR世界的初学者。

Answer 1

在Hadoop的MapReduce实现中，在每个映射器的开头和结尾分别调用了设置和清除函数，开发人员可以重写这些函数以获取所需的功能。

因此，如果将Pig脚本表达为一系列MapReduce程序并不那么复杂，则可以利用这些功能。

我确信Pig足够先进，可以支持这种功能。因此，只需查找与这些功能等效的Pig。