python - 给定一个训练有素的环境，我如何评估特定状态下的策略？

Question

我在自定义环境中训练了 Ray-RLlib PPOtrainer。我如何评估特定州的政策？

完整示例:

from ray.rllib.agents.ppo import PPOTrainer
from cust_env.envs import CustEnv
from ray.tune.logger import pretty_print

ray.init()
config = ppo.DEFAULT_CONFIG.copy()
config["num_workers"] = 2
config["eager"] = False
config["output"] = 'tmp/debug/'
trainer = PPOTrainer(config=config, env=TravelEnv)

# Can optionally call trainer.restore(path) to load a checkpoint.

for i in range(101):

   result = trainer.train()

   if i % 10 == 0:
       print(pretty_print(result))

有没有办法，像下面这样，我可以在给定状态下返回最佳 Action ？

policy = trainer.get_policy()
optimal_action_at_state_S = policy.get_optimal_action(S)

函数 policy.compute_actions( )似乎从随机策略中返回一个随机样本，而不是最佳操作。

Answer 1

根据我通过 Ray-dev Google 小组联系到的 Ray 开发人员，目前实现此目标的唯一方法是使用将方差设置为零的自定义操作分布。不过，他确实指出，很快就会添加改进的界面。