python - 如何判断 H2O 3.11.0.266 是否在使用 GPU 运行？

Question

我已经在带有 CUDA 8.0 和 libcudnn.so.5.1.10 的 Ubuntu 16.04 上安装了 H2O 3.11.0.266，所以我相信 H2O 应该能够找到我的 GPU。

但是，当我在 Python 中启动我的 h2o.init() 时，我没有看到它实际上正在使用我的 GPU 的证据。我明白了:

• H2O 集群总核心数:8
• H2O 集群允许的核心数:8

这与我在之前版本(GPU 之前)中的相同。

此外，http://127.0.0.1:54321/flow/index.html也仅显示 8 个核心。

我想知道我是否没有正确安装某些东西，或者最新的 h2o.init() 是否没有实现有关可用 GPU 或什么的信息...

非常感谢。

[编辑]我应该提到 3.11.0.266 应该是支持 GPU 的版本。

[编辑]感谢所有的建议。我现在正在运行 H2O 3.13.0.337

我发现这个命令也很有用:

 sudo watch -n 0.1 'ps f -o user,pgrp,pid,pcpu,pmem,start,time,command -p `/usr/bin/lsof -n -w -t /dev/nvidia*`'

但是，我有点困惑。

当我运行 XGBoost 时，我清楚地看到 GPU 非常活跃，利用率为 30% 到 40%(以及我所有的 8 个 CPU 内核，我猜它们一定是在管理 GPU。)XGB 在 20 分钟内完成了我的分类问题秒。

GLM 运行得非常快，所以很难判断它是否在使用我的 GPU(不到一秒就完成了。它确实在 ps 程序显示的 STARTED 列中启动了时钟。

USER      PGRP   PID %CPU %MEM  STARTED     TIME COMMAND
user      3380  3380  116 12.0 10:52:56 04:36:36 /usr/local/anaconda2/bin/java -ea -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -jar /usr/local/anaconda2/lib/python2.7/site-packages/h

分布式随机森林也启动时钟，但似乎不使用任何 GPU 处理，但它确实使用了所有 CPU 内核。

GBM 类似。与 XGB 的 20 秒相比，训练相同的问题需要 1.5 分钟。由于算法相似，我原以为它们会花费相似的时间并以相似的方式使用 GPU。我觉得这很奇怪。

我确信 XGBoost 正在 GPU 上运行，但我不确定是否有任何其他算法。

[添加]

通过在 H2O 3.13.0.341 上的比较。注意到温度(!)和 GPU 百分比的差异

这是 gpustat -cup 在我运行 xgboost 时显示的内容:

[0] GeForce GTX 1080 | 64'C,  90 % |  1189 /  8105 MB | clem:java/31183(191M)

这是我运行分布式随机森林时显示的内容(GBM 和深度学习会出现类似的结果)

[0] GeForce GTX 1080 | 51'C,   5 % |  1187 /  8105 MB | clem:java/31183(189M)

Answer 1

您将需要支持 GPU 的 H2O 版本，可在 H2O download page 上获得.从您的问题中不清楚您使用的是常规 H2O 还是支持 GPU 的 H2O，但是如果您使用的是支持 GPU 的 H2O 并且具有适当的依赖性，它应该会看到您的 GPU。当前依赖列表为:

• Ubuntu 16.04
• CUDA 8.0
• cuDNN 5.1

我打开了一个JIRA ticket在 h2o.init() 打印输出中添加一些元数据，以便您可以在那里看到有关 GPU 的信息(在未来的版本中)。