Hadoop 不可变与数据类型可变

Question

我是大数据领域的新手，正在尝试学习 Hadoop。让我感到惊讶的一件事是大数据或 Hadoop 默认支持不变性，因为我们希望一次写入数据并多次读取数据，而不变性是分布式存储和处理世界中的最佳选择。同时，我了解到Hadoop中所有实现Writable接口(interface)的数据类型本质上都是可变的，以支持框架中的序列化。当所有数据类型都是可变的时，我在这里感到困惑，那么 Hadoop 整体上将如何支持不变性？两者不矛盾吗？

预先感谢您回答我的问题。

Answer 1

Hadoop immutable

使用 Hadoop，所有写入的记录都是不可变的，因为 Hadoop 不支持随机写入。有时这可能是一个真正的痛苦，但它的扩展性非常好。您甚至会发现越来越多的语言正在恢复不可变对象(immutable对象)的概念。为什么？好吧，因为可变对象存在几个问题。其一，可变对象必须处理并发。仅此一项就需要额外的编程来确保一个对象一次只能由一个源更新。当您更新已写入磁盘的可变对象时，您需要重写更改后的整个文件。这可能代价高昂。引用- https://streever.atlassian.net/wiki/display/HADOOP/2014/03/06/Managing+Mutable+Data+in+an+Immutable+Big+Data+World

Data type mutable

原因是序列化机制。让我们看一下代码:

//版本 1.x MapRunner#run()K1 key = input.createKey();V1 value = input.createValue();

while (input.next(key, value)) {
   // map pair to output
   mapper.map(key, value, output, reporter);

...所以我们再次重用相同的键/值对实例。为什么？我不知道当时的设计决策，但我认为这是为了减少垃圾对象的数量。请注意，Hadoop 相当古老，那时垃圾收集器的效率不如今天，但即使在今天，如果您映射数十亿个对象并直接将它们作为垃圾丢弃，也会在运行时产生很大差异。

不能使 Writable 类型真正不可变的真正原因是不能将字段声明为 final。让我们用 IntWritable 做一个简单的例子:

public class IntWritable implements WritableComparable {
  private int value;

  public IntWritable() {}

  public IntWritable(int value) { set(value); }

...如果你想让它不可变，它肯定不再适用于序列化过程，因为你需要定义 final 值。这是行不通的，因为键和值是在运行时通过反射实例化的。这需要一个默认构造函数，因此 InputFormat 无法猜测填充最终数据字段所需的参数。因此，重用实例的整个概念显然与不变性的概念相矛盾。

但是，您应该问问自己，不可变的键/值在 Map/Reduce 中应该有什么样的好处。在 Joshua Bloch 的 Effective Java 的第 15 项中，他指出不可变类更易于设计、实现和使用。他是对的，因为 Hadoop 的 reducer 是可变性最糟糕的例子:

void reduce(IntWritable key, Iterable<Text> values, Context context) ...

可迭代对象中的每个值都引用同一个共享对象。因此，如果将值缓冲到普通集合中，许多人会感到困惑，并问自己为什么它总是保留相同的值。

最后，它归结为性能(CPU 和内存 - 想象一下，单个键的数十亿值对象必须驻留在 RAM 中)与简单性之间的权衡。

引用- Why should a Writable datatype be Mutable?