Python:并行化 GPU 和 CPU 工作

Question

处理我的 ML 模型的批处理需要太多时间，所以我正在考虑将它们并行化。

现在预处理例程从SSD中抓取数据，进行预处理并形成用于学习的数据结构。 ML 训练过程一直在等待。然后 ML 过程获取这些数据并使用它来训练模型。现在预处理等待。然后他们转了一圈。这种等待时间很快就会加起来并延迟模型训练。

计划如下:单个数据结构将存储一堆数据点。训练算法的每一步都会采用它们的随机子集来训练模型(在 GPU 上使用 TensorFlow 的 SGD)。

与此同时，我希望另一个线程对下一批数据点进行预处理。当预处理准备就绪时，它将用新的数据结构对象替换旧的数据结构对象。等等。

因为这是我在 Python 中实现并行化的第一种方法，所以我想知道这是否可行。全局解释器锁是否会阻止系统以真正并行的方式执行这些任务？

Answer 1

TensorFlow 的 Python binding 非常勤奋，希望尽快释放全局解释器锁。例如，当控制转移到 tf.Session 的 run 方法中的 C++ 库时，它不会持有锁。您描述的是 TensorFlow 中非常常见的模式。输入数据预处理和使用预处理数据训练 ML 模型在 TensorFlow 中使用 queues 分离。 .在 Inception model 中有一个输入预处理和训练如何并行化的说明性示例.