python - 尽管使用了allow_growth=True，为什么keras model.fit 使用了这么多内存？

Question

我有，感谢 this问题主要是能够解决 tensorflow 分配我不​​想分配的内存的问题。然而，我最近发现，尽管我使用 set_session 和 allow_growth=True，但使用 model.fit 仍然意味着所有内存都被分配了，我不能再将它用于我的程序的其余部分，即使函数退出并且由于模型是局部变量，模型不应再分配任何内存。
以下是一些示例代码，演示了这一点:

from numpy import array
from keras import Input, Model
from keras.layers import Conv2D, Dense, Flatten
from keras.optimizers import SGD

# stops keras/tensorflow from allocating all the GPU's memory immediately
from tensorflow.compat.v1.keras.backend import set_session
from tensorflow.compat.v1 import Session, ConfigProto, GPUOptions
tf_config = ConfigProto(gpu_options=GPUOptions(allow_growth=True))
session = Session(config=tf_config)
set_session(session)


# makes the neural network
def make_net():
    input = Input((2, 3, 3))
    conv = Conv2D(256, (1, 1))(input)
    flattened_input = Flatten()(conv)
    output = Dense(1)(flattened_input)
    model = Model(inputs=input, outputs=output)
    sgd = SGD(0.2, 0.9)
    model.compile(sgd, 'mean_squared_error')
    model.summary()
    return model


def make_data(input_data, target_output):
    input_data.append([[[0 for i in range(3)] for j in range(3)] for k in range(2)])
    target_output.append(0)


def main():
    data_amount = 4096
    input_data = []
    target_output = []
    model = make_model()
    for i in range(data_amount):
        make_data(input_data, target_output)
    model.fit(array(input_data), array(target_output),  batch_size=len(input_data))
    return


while True:
    main()

当我使用 Pycharm 调试器运行此代码时，我发现使用的 GPU RAM 保持在 0.1GB 左右，直到我第一次运行 model.fit，此时内存使用量高达 4GB 的 GPU RAM 中的 3.2GB .我还注意到，在第一次运行 model.fit 后，内存使用量不会增加，如果我从网络中删除卷积层，内存使用量根本不会增加。
有人可以对我的问题有所了解吗？
更新:将 GPUOptions 中的 per_process_gpu_memory_fraction 设置为 0.1 有助于限制包含的代码中的效果，但在我的实际程序中则不然。更好的解决方案仍然会有所帮助。

Answer 1

我曾经遇到过这个问题。我从一个我再也找不到的人那里找到了解决方案。他的解决方案我粘贴在下面。其实我发现如果你设置allow_growth=True ，tensorflow 似乎占用了你所有的内存。所以你应该只设置你的最大限制。
尝试这个:

gpus = tf.config.experimental.list_physical_devices("GPU")
if gpus:
    # Restrict TensorFlow to only use the first GPU
    try:
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, False)
            tf.config.experimental.set_virtual_device_configuration(
                gpu,
                [
                    tf.config.experimental.VirtualDeviceConfiguration(
                        memory_limit=12288  # set your limit
                    )
                ],
            )
        tf.config.experimental.set_visible_devices(gpus[0], "GPU")
        logical_gpus = tf.config.experimental.list_logical_devices("GPU")
        print(len(gpus), "Physical GPUs,", len(logical_gpus), "Logical GPU")
    except RuntimeError as e:
        # Visible devices must be set before GPUs have been initialized
        print(e)