model - h2o 模型不适合驱动程序节点的内存错误

Question

我通过 H2O 中的 R 代码运行 GBM 模型并得到以下错误。相同的代码在几周内运行良好。想知道这是 H2O 端错误还是用户系统上的配置？

water.exceptions.H2OModelBuilderIllegalArgumentException:GBM 模型的非法参数:gbm-2017-04-18-15-29-53。详细信息:字段中的 ERRR:_ntrees:树模型将不适合驱动程序节点的内存(每棵树 23.2 MB x 1000 > 3.32 GB) - 尝试减少 ntrees 和/或 max_depth 或增加 min_rows!

Answer 1

对我有用的修复方法是设置 两者 初始化 H2O 时的最小和最大内存大小。例如:

这在未指定最小或最大内存大小时失败:

localH2O <- h2o.init(ip='localhost', nthreads=-1)

INFO: Java heap totalMemory: 1.92 GB
INFO: Java heap maxMemory: 26.67 GB
INFO: Java version: Java 1.8.0_121 (from Oracle Corporation)
INFO: JVM launch parameters: [-ea]
INFO: OS version: Linux 3.10.0-327.el7.x86_64 (amd64)
INFO: Machine physical memory: 1.476 TB

这在仅指定最大内存大小时失败:

localH2O <- h2o.init(ip='localhost', nthreads=-1,
                     max_mem_size='200G')

INFO: Java availableProcessors: 64
INFO: Java heap totalMemory: 1.92 GB
INFO: Java heap maxMemory: 177.78 GB
INFO: Java version: Java 1.8.0_121 (from Oracle Corporation)
INFO: JVM launch parameters: [-Xmx200G, -ea]
INFO: OS version: Linux 3.10.0-327.el7.x86_64 (amd64)
INFO: Machine physical memory: 1.476 TB

这在指定 时成功两者 最小和最大内存大小:

localH2O <- h2o.init(ip='localhost', nthreads=-1,
                     min_mem_size='100G', max_mem_size='200G')

INFO: Java availableProcessors: 64
INFO: Java heap totalMemory: 95.83 GB
INFO: Java heap maxMemory: 177.78 GB
INFO: Java version: Java 1.8.0_121 (from Oracle Corporation)
INFO: JVM launch parameters: [-Xms100G, -Xmx200G, -ea]
INFO: OS version: Linux 3.10.0-327.el7.x86_64 (amd64)
INFO: Machine physical memory: 1.476 TB