java - Cloudera设置Sqoop导入给出Java堆空间错误并且超出GC开销限制

Question

我已经安装了 CDH 最新版本，并设置了一个具有 1 个 16 GB RAM 和 200 GB 内存的主节点以及 3 个 8 GB RAM 和 500 GB 内存的 DataNode 的集群。当我尝试运行 Sqoop 导入时，在完成 83% 的映射后，它会给出 Java 堆空间错误和 GC 开销限制超出错误。我已经尝试了互联网上的所有解决方案。

这是我尝试过的事情的列表:

1. 我尝试增加容器和 map 的大小，并根据此处给出的计算减少内存限制

   http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0/bk_installing_manually_book/content/rpm-chap1-11.html

2. 我尝试将 Java 堆大小保持为映射的 0.8 倍并减少内存限制

我想知道这背后可能的原因是什么以及解决方案。

Answer 1

我也遇到过类似的问题，并通过放置正确的 MySQL/J Connector 5.1.33 来解决。

mysql 5.1.17 和 Sqoop 4.1.5 版本存在一些问题。