gpu - 如何有效利用 GPU 进行强化学习？

Question

最近我研究了强化学习，有一个问题困扰着我，我找不到答案:如何使用 GPU 有效地完成训练？据我所知，需要与环境持续交互，这对我来说似乎是一个巨大的瓶颈，因为这项任务通常是非数学的/不可并行化的。然而，例如 Alpha Go 使用多个 TPU/GPU。那么他们是怎么做的呢？

Answer 1

实际上，您经常会在学习步骤之间与环境进行交互，这通常在 CPU 上运行比在 GPU 上运行要好。因此，如果您用于执行操作的代码和用于运行更新/学习步骤的代码非常快(例如，在表格 RL 算法中)，那么尝试将它们放在 GPU 上是不值得的。

然而，当你有一个大的神经网络时，你需要在选择一个 Action 或运行一个学习步骤时经历它(就像现在流行的大多数深度强化学习方法的情况一样)，运行的加速这些在 GPU 而不是 CPU 上通常足以值得在 GPU 上运行它们(即使这意味着您经常在 CPU 和 GPU 之间“切换”，并且可能需要从 RAM 复制一些东西到 VRAM 或其他方式)。