hadoop - 在map-reduce任务之间共享全局数组

Question

我需要在所有 map 上保留全局的字符串数组，并 reduce task ，每个任务在运行时都可以更新。

在hadoop 1.2.1中可以做到吗？

据我了解，计数器仅适用于long类型，而分布式缓存文件是只读的。

如果有人可以为这个问题提供指导，那就太好了。

谢谢!

Answer 1

您真的不应该在map-reduce程序中拥有共享变量。

但是，如果您真的需要检查动物园管理员，则它是分布式协调服务，并且是hadoop生态系统的核心部分。您可以使用它来存储任何类型的共享数据，包括字符串数组。