java - Hadoop java mapper -copyFromLocal 堆大小错误

Question

作为我的 Java 映射器的一部分，我有一个命令在本地节点上执行一些代码并将本地输出文件复制到 hadoop fs。不幸的是，我得到以下输出:

Error occurred during initialization of VM

Could not reserve enough space for object heap

我试过将 mapred.map.child.java.opts 调整为 -Xmx512M，但不幸的是没有成功。

当我通过 ssh 进入节点时，我可以毫无问题地运行 -copyFromLocal 命令。输出文件也很小，大约 100kb。

如有任何帮助，我们将不胜感激!

Answer 1

映射器或缩减器中的无限循环会导致内存不足错误。

当我有一个以 iterator.hasNext() 作为条件的 while 循环时，我遇到了一次 OoM，用于 reducer 值，并且没有在循环内调用 iterator.next()。