gpt4 book ai didi

hadoop - 如何缓存映射器中的所有数据记录并在最后处理它们?

转载 作者:行者123 更新时间:2023-12-02 21:51:11 25 4
gpt4 key购买 nike

我有一个 map-reduce 作业,其中映射器负责对数据记录进行聚类。读取数据记录时,我将其添加到 list .如何知道何时读取了所有数据记录我可以开始对 list 进行聚类?

最佳答案

Mapper接口(interface)提供了cleanup任务完成时调用的方法。您可以使用它作为 Hook 来触发您需要使用 list 执行的任何附加逻辑。的对象。我不得不问,为什么不使用 Reducer执行此处理的任务?

关于hadoop - 如何缓存映射器中的所有数据记录并在最后处理它们?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20765380/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com