theano - 当配置使用 GPU 时，Theano 是否真的使用了 100% 的 CPU？

Question

我注意到，当我将 Theano 配置为使用 GPU 并运行一些脚本时，CPU 使用率约为 100%:

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
 5927 jjjjjj    20   0  0.259t 0.025t  83228 R 100.2 20.2  33025:42 python
 8259 jjjjjj    20   0  0.239t 5.303g 102876 R 100.2  4.2   8209:45 python
 7791 jjjjjj    20   0  0.239t 5.086g 102872 R  99.8  4.0   8209:36 python
 7761 jjjjjj    20   0  0.239t 5.193g 104604 R  99.5  4.1   7267:47 python

这是否意味着 CPU 是瓶颈？也就是说，我是否应该推断如果我用频率更高的 CPU 替换 CPU，脚本会运行得更快？或者可能是瓶颈在其他地方并且 CPU 正在积极等待？如果两者都有可能，我怎么知道哪一个是瓶颈？

这是 nvidia-smi 的输出:

Tue Sep 27 13:55:13 2016
+------------------------------------------------------+
| NVIDIA-SMI 352.63     Driver Version: 352.63         |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX TIT...  Off  | 0000:02:00.0     Off |                  N/A |
| 32%   73C    P2    95W / 250W |    207MiB / 12287MiB |     45%      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GTX TIT...  Off  | 0000:03:00.0     Off |                  N/A |
| 32%   72C    P2    94W / 250W |    182MiB / 12287MiB |     40%      Default |
+-------------------------------+----------------------+----------------------+
|   2  GeForce GTX TIT...  Off  | 0000:82:00.0     Off |                  N/A |
| 33%   73C    P2    93W / 250W |    207MiB / 12287MiB |     43%      Default |
+-------------------------------+----------------------+----------------------+
|   3  GeForce GTX TIT...  Off  | 0000:83:00.0     Off |                  N/A |
| 42%   81C    P2   148W / 250W |  11872MiB / 12287MiB |     79%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|    0      8259    C   python                                         157MiB |
|    1      7791    C   python                                         157MiB |
|    2      7761    C   python                                         157MiB |
|    3      5927    C   python                                       11847MiB |
+-----------------------------------------------------------------------------+

Answer 1

Theano 异步执行所有 GPU 操作，这意味着函数调用不会等待操作完成。在主机和 GPU 之间传输数据之前需要同步。默认情况下，同步是通过在繁忙的循环中轮询 GPU 来执行的。因此，操作系统将始终显示 100% 的 CPU 使用率，即使程序受 GPU 限制也是如此。

设置gpuarray.sched=multi标志导致 CPU 线程在等待 GPU 完成计算时进入休眠状态。您可以使用它来检查您的程序是否实际上是 CPU 或 GPU 绑定(bind)。唤醒需要多一点时间，但随后您的 CPU 可用于等待 GPU 的其他进程。

请注意 ps显示进程整个生命周期内的 CPU 使用率。所以如果你的程序在使用 Theano 之前首先在 CPU 上做一些事情，那么显示的 CPU 使用率将会很高。您可以使用 top -p <PID> 获取当前值.