hadoop - 具有很大标准输出的Hadoop流

Question

我有两个用于Hadoop流传输的程序。

  mapper (produces <k, v> pair)
  reducer

当然， <k, v>对会发出到 stdout。

我的问题是

如果 v中的 <k, v>非常大，是否可以有效地在hadoop上运行？

我猜想mapper发出的 v会大于或等于1G(有时会大于4G)。

Answer 1

我认为这样的Value大小会引起问题，因为在内存中操作它们是有问题的。如果确实需要如此大的值，则可以将它们放入HDFS中，并使V成为文件的名称。在这种情况下，您应该考虑的问题是该方法不再起作用-您有副作用，例如，来自失败的映射器的副作用。