python - Keras/ tensorflow : Train multiple models on the same GPU in a loop or using Process

Question

我有多个模型需要在 Keras/Tensorflow 中连续训练，而无需手动调用 train.py，所以我这样做了:

for i in range(0, max_count):
    model = get_model(i)   # returns ith model
    model.fit(...)
    model.save(...)

它在 i=0 上运行良好(事实上，单独运行时运行得很好)。问题是，当第二次加载模型时，我得到 ResourceExhaustedError OOM，所以我尝试在 for 循环结束时释放内存

del model
keras.backend.clear_session()
tf.clear_session()
tf.reset_default_graph()
gc.collect()

无论是单独还是集体，这些都不起作用。

我进一步查了一下，发现释放GPU内存的唯一方法就是结束进程。

还有这个keras issue

Update (2018/08/01): Currently only TensorFlow backend supports proper cleaning up of the session. This can be done by calling K.clear_session(). This will remove EVERYTHING from memory (models, optimizer objects and anything that has tensors internally). So there is no way to remove a specific stale model. This is not a bug of Keras but a limitation of the backends.

很明显，要走的路是每次加载模型时创建一个进程并等待它结束，然后在新的进程中创建另一个进程，如下所示:

import multitasking
def train_model_in_new_process(model_module, kfold_object, x, y, x_test, y_test, epochs, model_file_count):
    training_process = multiprocessing.Process(target=train_model, args=(x, y, x_test, y_test, epochs, model_file_count, ))
    training_process.start()
    training_process.join()

但随后它抛出此错误:

  File "train.py", line 110, in train_model_in_new_process
    training_process.start()
  File "F:\Python\envs\tensorflow\lib\multiprocessing\process.py", line 105, in start
    self._popen = self._Popen(self)
  File "F:\Python\envs\tensorflow\lib\multiprocessing\context.py", line 223, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
  File "F:\Python\envs\tensorflow\lib\multiprocessing\context.py", line 322, in _Popen
    return Popen(process_obj)
  File "F:\Python\envs\tensorflow\lib\multiprocessing\popen_spawn_win32.py", line 65, in __init__
    reduction.dump(process_obj, to_child)
  File "F:\Python\envs\tensorflow\lib\multiprocessing\reduction.py", line 60, in dump
    ForkingPickler(file, protocol).dump(obj)
TypeError: can't pickle module objects
Using TensorFlow backend.
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "F:\Python\envs\tensorflow\lib\multiprocessing\spawn.py", line 105, in spawn_main
    exitcode = _main(fd)
  File "F:\Python\envs\tensorflow\lib\multiprocessing\spawn.py", line 115, in _main
    self = reduction.pickle.load(from_parent)
EOFError: Ran out of input

我真的无法利用错误中提供的信息来查看我做错了什么。它清楚地指向 training_process.start() 行，但我似乎无法理解导致问题的原因。

任何使用 for 循环或使用 Process 训练模型的帮助都是值得赞赏的。

Answer 1

显然，Multiprocessing 不喜欢modules 或更准确地说是importlib 模块。我正在使用 importlib

从编号的 .py 文件加载模型

model_module = importlib.import_module(model_file)

这就是麻烦所在。

我在Process中做了同样的事情，一切都很好:)

但我仍然无法找到一种方法来做到这一点，没有Processes，使用fors。如果您有答案，请在这里发布，不客气。但无论如何，我将继续处理进程，因为我相信进程在某种程度上更干净，它们是隔离的，并在完成后清除为该特定进程分配的所有内存。