python - 使用 tf.keras.utils.Sequence 和 model.fit_generator with use_multiprocessing=True 生成警告

Question

这是我收到的警告:

WARNING:tensorflow:multiprocessing can interact badly with TensorFlow, causing nondeterministic deadlocks. For high performance data pipelines tf.data is recommended.

我写的 Sequence 子类严格执行加载和读取 I/O jpg 文件。我想只要没有 2 个线程在同一个文件上同时执行，事情应该没问题。
我训练了几个 epoch，到目前为止，没有错误。但是如果有可能发生的潜在不好的事情，我想获得反馈。

Answer 1

最初在 TensorFlow 2.0版本，keras.utils.Sequence 有问题与 multiprocessing=True由于死锁导致挂起。稍后在 Tensorflow 2.1添加此警告是为了解决此问题。

# use_multiprocessing=False works.
# use_multiprocessing=True hangs in a deadlock situation.
model.fit_generator(generator, use_multiprocessing=True, workers=2)  

您可以忽略此警告，因为您没有进行任何会造成死锁情况的处理。