gpt4 book ai didi

java - 如何在 reduce 阶段工作时启动 map 阶段

转载 作者:可可西里 更新时间:2023-11-01 14:59:37 26 4
gpt4 key购买 nike

我有这种情况。工作 A 和工作 B。是否有机会在 JobA 减少阶段提供的数据开始 JobB 映射阶段,同时它仍在工作?

谢谢!

最佳答案

我唯一想到的是有一个线程(在您的驱动程序类中启动)永久检查 JobA 的输出目录。当创建并完全写入特定(一组)part-r-xxxx 文件时,您可以启动 JobB 并将该特定(一组)part-r-xxxx 文件作为输入。

我现在唯一能确定的问题是与检查 part-r-xxxx 文件是否已完全写入有关的问题。

关于java - 如何在 reduce 阶段工作时启动 map 阶段,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12009227/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com