reinforcement-learning - 射线 RLlib : Export policy for external use

Question

我有一个基于 PPO 策略的模型，我使用 RLLib 在一些标准健身房环境中使用 Ray Tune API 进行训练(没有花哨的预处理)。我保存了模型检查点，我可以从中加载和恢复以进行进一步训练。

现在，我想将我的生产模型导出到理想情况下不依赖于 Ray 或 RLLib 的系统上。有没有简单的方法可以做到这一点？

我知道在rllib.policy.tf_policy类中有一个接口(interface)export_model，但是好像不是特别好用。例如，在我的训练脚本中调用 export_model('savedir') 并在另一个上下文中通过 model = tf.saved_model.load('savedir') 加载后，生成的 model 对象很难(像 model.signatures['serving_default'](gym_observation) 这样的东西不起作用)将正确的输入输入进行评估。理想情况下，我正在寻找一种方法，可以轻松地对观察对象进行开箱即用的模型加载和评估

Answer 1

使用 agent.restore(**checkpoint_path**) 从检查点恢复后，您可以使用 agent.export_policy_model(**output_dir**) 导出模型作为 .pb 文件和 variables 文件夹。