python - OpenAi-Gym 具有负值的离散空间

Question

我创建了一个自定义健身房环境，其中的操作可以是 -100 到 +100 之间的任何整数。据我所知，不可能创建一个允许负值的离散空间，我唯一的解决方案是创建一个从 -100 到 +100 的 Box 空间(请注意，这是一个连续空间)。

由于大多数强化学习代理假设 Action 空间是离散空间，因此我在运行代码时遇到困难(我知道有一些代理，例如 DDPG，在连续 Action 空间中运行)。

健身房里可以有一个允许负值的离散空间吗？

Answer 1

据我所知，在 OpenAI-Gym 离散环境中，每个可能的操作都有索引，因此您可能不需要负值。但是，您可以将每个操作索引映射为任意值(正值或负值)。

例如，在 Cartpole 环境中，您可以向购物车施加正力(向右推)或负力(向左推)。此问题使用离散环境进行建模，其中 Action 0 = 负力， Action 1 = 正力。欲了解更多详情，请查看Cartpole source code (例如，第 95 行)。

同样，在您的情况下，虽然您的 200 个行动指数都是积极的，但它们可以代表积极或消极的行动。