artificial-intelligence - 连续蛇游戏的神经网络帮助

Question

我正在尝试为“连续蛇”游戏实现 AI。它与普通的蛇游戏非常不同，至少就 AI 而言。基本上，蛇的驾驶方式有点像汽车，两个玩家中第一个撞上他的踪迹或另一个人的踪迹输掉比赛。此外，屏幕环绕其边框。

如果您查看我当前进度的视频，您会更好地理解它:
https://www.youtube.com/watch?v=i9qU-r4COQ8

不算太差，但还是打不过我(我黄了)。
理想情况下，获胜的人工智能需要表现出以下行为:

避开墙壁

注意它可以“缩短我的时间”的场合(当我靠近我时)。

避免“缩短”。

了解当前二维空间的拓扑结构，尝试将我封闭在一个较小的空间中/保护自己一个更大的空间。

我目前的方法使用 NEAT 算法( http://www.cs.ucf.edu/~kstanley/neat.html )。
它是一种遗传算法，可以代代进化神经网络。它在某种程度上(但不是很好)学会了如何做 1,2 和 3，但对 4 一无所知。

对于输入，我使用:

对手相对于我们的角度

对手距离我们

对手相对于我们的航向

通过一定量的树搜索在某些方向上探测的智能射线(见视频)

我现在有点卡住了，想知道:

我应该研究哪类算法？循环/实时/连续/无监督神经网络，......关于这些以及它们如何应用于我的问题的解释会很棒。

我应该研究任何特定的算法？

我可以使用哪些其他输入集？人类玩家可以看到游戏中的所有像素，这比我的简单输入集要多得多。但是我认为将示例中的 200x200 像素馈送到我的神经网络根本行不通。也许如果我将它们离散化并使它们相对于 AI 位置/航向......听起来很棘手。

如果有人想看到它(C#)，我很高兴让我的代码可用。

谢谢!

Answer 1

这里的主要问题是您的学习算法没有足够的信息(除非您正在使用 recurrency 功能)。基本上，您要求它通过几个距离传感器在迷宫中导航的每一帧 - 不可能。

singhV 之前说的是真的——为了获得好的结果，学习算法的输入必须是图像(以及你自己的头部位置和角度)。您可以稍微降低分辨率并转换为单色以提高效率。

至于你的问题:
* 循环网络是可以记住先前状态的网络，基本上像“内存”一样使用它。这不是您完成这项任务所需要的(除非您真的想保持输入不变，但是蛇必须学会“记住”它所看到的一切 - 这将非常令人印象深刻但太难了)
* 无监督:这意味着没有“示例”可供学习，而是通过正/负反馈(失败 = 差)学习。您的网络不受监管。
* 实时/连续 - 不知道，除了一些 2007 年的微软研究外，我没有找到任何东西:https://www.microsoft.com/en-us/research/publication/continuous-neural-networks/

顺便说一句，NEAT 非常整洁，很高兴我遇到了这个!