artificial-intelligence - 学习分层强化任务的结构

Question

我一直在研究分层强化学习问题，虽然很多论文提出了学习策略的有趣方法，但它们似乎都假设自己事先知道描述域中 Action 的图结构。例如，The MAXQ Method for Hierarchial Reinforcement Learning Dietterich 描述了一个简单 Taxi 域的操作和子任务的复杂图，但没有描述该图是如何发现的。您将如何了解该图的层次结构，而不仅仅是策略？

Answer 1

在 Dietterich 的 MAXQ 中，图是手动构建的。这被认为是系统设计者的一项任务，就像提出表示空间和奖励函数一样。

根据您想要实现的目标，您可能希望自动分解状态空间、学习相关功能或将经验从简单任务转移到更复杂的任务。

我建议您开始阅读引用您链接到的 MAXQ 论文。在不知道你到底想要实现什么的情况下，我不能给出非常具体的规定(而且我并没有真正掌握当前所有的 RL 研究)，但你可能会在 Luo、Bell 和 McCollum 的工作中找到相关的想法，或者Madden 和 Howley 的论文。