tensorflow - 神经网络框架和 RL 算法库有什么区别？

Question

我知道这是个愚蠢的问题，但我找不到合适的表达方式。

我曾使用过 TensorFlow 和 TFAgents，现在正转向 Ray RLlib。查看所有 RL 框架/库，我对以下两者之间的区别感到困惑:

• Keras、TensorFlow、PyTorch 等框架
• 强化学习实现库，例如 TFAgents、RLlib、OpenAi Baseline、Tensorforce、KerasRL 等

例如TensorFlow中有Keras代码，Ray RLlib同时支持TensorFlow和PyTorch。它们之间有何关联？

到目前为止，我的理解是 Keras 允许制作神经网络，而 TensorFlow 更像是 RL 的数学库(我对 PyTorch 的了解不够)。 TFAgents 和 RLlib 等库使用 Keras 和 TensorFlow 等框架来实现现有的 RL 算法，以便程序员可以轻松利用它们。

有人可以解释一下它们是如何相互关联/不同的吗？非常感谢。

Answer 1

是的，你是对的。 Keras、TF(也使用 keras btw)和 Pytorch 等框架是通用的深度学习框架。对于大多数人工神经网络用例，这些框架工作得很好，您的典型管道将类似于:

1. 预处理您的数据集
2. 为此问题设置选择合适的模型
3. 模型拟合(数据集)
4. 分析结果

虽然强化学习与大多数其他数据科学 ML 应用程序有很大不同。首先，在 RL 中，您实际上是通过让模型(智能体)与环境交互来生成自己的数据集；这使情况大大复杂化，特别是从计算的角度来看。这是因为在传统的 ML 场景中，大部分计算繁重的工作都是由 model.fit() 调用完成的。上述框架的好处在于，通过调用您的代码实际上输入了非常高效的 C/C++ 代码(通常还实现 CUDA 库以使用 GPU)。

在 RL 中，最大的问题是代理与之交互的环境。我将这个问题分为两部分:

a) 环境无法在这些框架中实现，因为它总是会根据你所做的事情而改变。因此，您必须对环境进行编码，而且 - 很可能 - 它不会非常有效。

b) 环境是代码中的关键组成部分，它不断地与您的 Agent 进行多次交互，并且有多种方式可以调解该交互。

这两个因素导致有必要对环境及其与智能体之间的交互进行标准化。这种标准化允许高度可重用的代码以及其他人更容易解释其具体操作方式的代码。此外，例如，即使您的环境对象并不是真正为管理它而编写的，也可以通过这种方式轻松运行并行环境(例如，TF 代理允许这样做)。

RL 框架因此提供了这种标准化和随之而来的特性。它们与深度学习框架的关系是 RL 库通常带有许多预先实现和灵活的代理架构，这些架构是文献中最相关的。这些代理通常只不过是一些奇特的 ANN 架构，包裹在一些类中，这些类在给定的 RL 框架内标准化它们的操作。因此，作为这些 ANN 模型的后端，RL 框架使用 DL 框架来高效地运行计算。