c++ - 如何使用 C++ 更改 tensorflow 中的 per_process_gpu_memory_fraction？

Question

我用c++语言开发了两个基于tf的应用程序，这些应用程序作为库服务。在调用者可执行程序中，先调用 library1，然后调用 library2。在 library1 初始化中，gpu 内存分数设置为 0.5，运行一些推理，并关闭 session 。然后调用 library2，gpu 内存分数设置为 0.8，但是设置不起作用，gpu 内存分配没有改变。两个库都有相同的初始化代码，但分数值不同

int XXXLib::init(double per_process_gpu_memory_fraction)
{
    SessionOptions options;
    ConfigProto* config = &options.config;
    GPUOptions* gpu_options = config->mutable_gpu_options();

    // for library1, fraction = 0.5; for library2, fraction = 0.8
    gpu_options->set_per_process_gpu_memory_fraction(per_process_gpu_memory_fraction);
    Status status = NewSession(options, &_session);
}

好像调用set_per_process_gpu_memory_fraction()的时候，这个进程的gpu内存是固定的，即使再new一个newsession()，也是用原来的fraction值。

1. 不同的应用程序(库)应该使用不同的 session 吗？
2. GPU 内存分数与 session 或进程有关？
3. 如何在不同 session 但相同进程中更改分数？

一些环境信息:

• 我是否编写了自定义代码？否
• 操作系统平台和发行版？ Win10专业版
• TensorFlow 是从哪里安装的？源代码
• TensorFlow 版本？ 1.9
• CUDA/cuDNN 版本？ CUDA9.0，cudnn 7.05
• GPU 型号和内存？ GTX1080 8GB显存

Answer 1

不幸的是，在当前的 TensorFlow (1.11) 中，GPU 内存分配器只创建一次(每个 GPU 设备)——第一次在进程中创建 session 。在以下 session 中更改 per_process_gpu_memory_fraction 不会有任何影响。

关于您的图书馆，我建议不要在其中创建 session 。要求用户向您提供他们根据需要配置的 session 。或者，您可以只创建一个图形并返回要运行的操作。然后用户可以按照他们认为合适的方式运行它们。