gpt4 book ai didi

java - 在多个map()和reduce()调用之间共享数据

转载 作者:行者123 更新时间:2023-12-01 18:57:57 24 4
gpt4 key购买 nike

我需要一个在map()和reduce()之间共享的HashMap对象。

说明:我希望 map() 检索并更新 HashMap 中当前键的一些数据。我希望 reduce() 能够查看当前键与过去的键值相比是否具有最大值。

在最后一个键值对上(我计划使用 HashMap.size() 和静态整数计数器),我将打印具有最大值的键值对。

所以基本上我需要一个在map()和reduce()之间共享的HashMap对象,然后在reduce()调用之间共享一个整数变量。

有什么帮助吗?

最佳答案

这并不是mapreduce的真正用途...如果您在映射器中创建任何Hashmap,则每个映射器将有一个hashmap,并且每个映射器可以同时运行数千个映射任务。任何reducer任务都不知道要检查哪个Hashmap,并且没有明确的步骤让您合并它们

也许最好将该数据外部化到 Redis 中,例如

关于java - 在多个map()和reduce()调用之间共享数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59660325/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com