python - 比 np.meshgrid 更有效的多维状态 Action 空间平铺方法？

Question

首先，这是为了练习和比较，我知道有比线性网格更有效的平铺状态空间的方法。

为了运行一些强化学习算法，我想平铺我的状态和 Action 空间线性。因此，我希望每个空间 Action 对都采用数组形式。问题是，不同的(健身房)环境具有不同的状态和 Action 空间维度。因此我不喜欢硬编码变量或维度。因此，我需要计算每个状态- Action 对，仅给出每个状态- Action 对的最小值和最大值。

我主要解决了简单的问题，但没有一个解决方案是“漂亮的”。

首先让我们计算状态和 Action 空间。使用 linspace 从最小到最大平铺该区域。我已经给出了一个随机测试环境的变量。

import numpy as np
NOF_ACTION_SPACE_TILES = 20
NOF_STATE_SPACE_TILES = 10
action_low = np.array([-2])
state_low = np.array([-1, -1, -8])

action_space = np.vstack([*[x.flatten() for x in (np.meshgrid(*(np.linspace(action_low, action_high, NOF_ACTION_SPACE_TILES).T)))]]).T

state_space = np.vstack([*[x.flatten() for x in (np.meshgrid(*(np.linspace(state_low, state_high, NOF_STATE_SPACE_TILES).T)))]]).T

这按预期工作，并自行给出状态和操作的所有可能组合。有什么办法可以更直接地做到这一点吗？由于 np.meshgrid 返回多个矩阵并尝试展平向量，我需要使用 *[] 两次。

现在到有趣的部分......

最后我想要拥有所有可能的状态- Action 对。每一个状态和每一个 Action 。使用 for 循环编码得相当快，但是……numpy 和 for 循环并不是很快的 friend 。这是我的解决方法，适用于一维 Action 空间:

s_s, a_s = np.meshgrid(state_space, action_space)

state_action_space = np.concatenate((
   s_s.reshape(-1, state_space.shape[1]),
   a_s.reshape(state_space.shape[1], action_space.shape[1], -1)[0].T), axis=1)

随着state_space.shape[1]成为单个状态/ Action 的暗淡。

有一个问题，np.meshgrid 为 3 个状态空间维度中的每一个返回 a_s，并且像上面那样对其进行 reshape 是行不通的，因为我们需要将状态 reshape 为 3xn 并且行动至 1xn。

这比上面的代码更糟糕，但目前可以使用。有人建议如何正确快速地使用网格网格或其他东西吗？

最后，对于第二步，它只是两个矩阵的每一行的组合。必须有更好的方法...

Answer 1

感谢上面的两个答案，这是我的最终结果。我仍然必须使用 *() 来反汇编网格网格的 linspace，但现在看起来更易于人类阅读。之前状态操作代码的一个大问题是我试图使其变得过于复杂。它只是将数组复制到彼此之上。因此，只要在操作空间中有不同的操作，就复制(或在本例中平铺)状态空间数组。这与 ACTION_SPACE_SIZE^(action-dims) 相同。 .

    action_space = np.stack(np.meshgrid(*(np.linspace(env.action_space.low, env.action_space.high, ACTION_SPACE_SIZE)).T), -1).reshape(-1, env.action_space.shape[0])

    state_space = np.stack(np.meshgrid(*(np.linspace(env.observation_space.low, env.observation_space.high, STATE_SPACE_SIZE)).T), -1).reshape(-1, env.observation_space.shape[0])

    state_action_space = np.concatenate((
        np.tile(state_space, (action_space.shape[0])).reshape(-1, state_space.shape[1])
        np.tile(action_space, (state_space.shape[0], 1))
        ), axis=1)