python - 在 Q 学习的开放式环境中，Q 矩阵维度应该是多少

Question

我想在 OpenAI 的 Bipedal Walker v2 中实现 Q 学习，但在寻找教程后，它们似乎总是有限环境，这使得 Q 矩阵和奖励矩阵易于初始化。

例如:http://mnemstudio.org/path-finding-q-learning-tutorial.htm

我唯一的问题是，在更开放的环境(例如我想要使用的环境)中，这些矩阵的尺寸应该是多少？

相关环境:https://gym.openai.com/envs/BipedalWalker-v2/

您得到的观察结果(请注意，有一些值可以是无限的):https://github.com/openai/gym/wiki/BipedalWalker-v2

Answer 1

将 Q 值存​​储在矩阵(或表格)中的强化学习方法称为“表格强化学习方法”。这些是最直接/简单的方法，但正如您所发现的，并不总是很容易应用。

您可以尝试的一个解决方案是离散化您的状态空间，创建大量“垃圾箱”。例如，hull_angle观察范围为 0至2*pi 。例如，您可以映射 0 < hull_angle <= 0.1 所在的任何州。到第一个垃圾箱，状态为 0.1 < hull_angle < 0.2到第二个容器，依此类推。如果存在范围为 -inf 的观察值至+inf ，您可以简单地决定在某处设置一个阈值，并将超出该阈值的每个值视为同一个 bin(例如，从 -inf 到 -10 的所有值都映射到同一个 bin，从 10 到 +inf 的所有值映射到另一个 bin，然后是更小的区域以容纳更多的垃圾箱)。

您必须将每一个观测值离散化到这样的箱中(或者简单地丢弃一些观测值)，并且所有箱索引的组合将形成矩阵中的单个索引。如果您有23不同的观察结果，并创建例如 10每个观察的 bins，您的 Q 值的最终矩阵将具有 10^23条目，这是一个......相当大的数字，可能不适合您的内存。

<小时/>

另一种解决方案是使用函数逼近来研究不同的强化学习方法。最简单的函数逼近方法类使用线性函数逼近，这些是我建议首先针对您的问题研究的方法。线性函数近似方法本质上是尝试学习线性函数(权重向量)，以便通过权重向量与观察/特征向量之间的点积来估计 Q 值。

如果您熟悉 Sutton 和 Barto 的强化学习书第二版的草稿，您会在第 9-12 章中发现许多此类方法。

<小时/>

另一类函数逼近方法使用(深度)神经网络作为函数逼近器，而不是线性函数。这些可能比线性函数近似效果更好，但理解起来也复杂得多，并且通常需要很长时间才能运行。如果你想获得最好的结果，它们可能值得一看，但如果你仍在学习并且从未见过任何非表格强化学习方法，那么研究更简单的变体(例如线性函数)可能是明智之举首先进行近似。