gpt4 book ai didi

java - java中MapReduce中大量全局变量的存储

转载 作者:太空宇宙 更新时间:2023-11-04 13:21:05 26 4
gpt4 key购买 nike

如果我们需要使用多个reducer来执行reduce作业,考虑到一个reducer无法为该作业的全局数据提供那么多内存,那么我们的全局变量存储在哪里。

它们是否存储在HDFS中并由每个reducer访问?

或者

我们明确需要它。

最佳答案

否。它们不存储在 HDFS 中。我们不需要明确地做任何事情。

每个在单独的 JVM 和 Reducer 实例中运行的 Reducer 都将在 jvm 堆内存 区域中维护自己的变量。因此每个Reducer都会有自己的全局或局部变量实例。对象的创建和存储与普通java程序相同。 MapperReducer 对象没有什么特别的事情发生。

关于java - java中MapReduce中大量全局变量的存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33052675/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com