c++ - 在 C++ 应用程序中使用 Tensorflow : How to release GPU memory

Question

我正在尝试在我的 C++ 应用程序中使用 Tensorflow 进行推理。应用程序的其他部分需要访问大量 GPU 内存(与 Tensorflow 不完全相同)。但是，一旦使用 Tensorflow 执行推理，它就会占用 GPU 内存，直到应用程序结束才会释放它。理想情况下，在推理之后，我将能够释放 Tensorflow 使用的 GPU 内存，以允许其他算法使用 GPU。

有没有其他人遇到过这个问题，您找到解决方案了吗？

Answer 1

Tensorflow 在进程的生命周期内分配内存。不幸的是，没有办法解决这个问题，您只能在进程完成后取回内存。

解决此问题的一种方法是将您的应用程序“模块化”为多个不同的进程。有一个用于执行推理的进程，以及一个调用它的父进程(您的应用程序)。您可以阻塞地运行子进程，这样您的整个应用就好像在执行代码本身一样(当然除了处理资源共享之外)。