machine-learning - 基于小序列的后续序列预测

Question

我是机器学习领域的新手，我有一个问题，我想使用一些人工智能来解决。如果您能给我推荐一些具体的算法、神经网络架构或一些相关的读物，我将不胜感激。

我正在研究根据鼠标移动预测用户意图。目前我正处于没有具体数据集的分析阶段。目标是通过预测鼠标轨迹来预测用户意图的目标(例如按钮，用户将点击的位置)。

让我介绍一下问题

我有很多序列。每个序列的长度可以不同。作为输入，我将传递一些较小的序列，我想为其预测下一个 x 值。所以我想知道下一个可能的序列(或更多可能的序列)。输出序列的长度 (x) 也可以是可变的。也许序列到这里就结束了？预测应该“实时”进行。

那么这些序列是什么？

序列表示经过一些预处理后在二维空间中的运动方向。每个值都是区间<0,8>的整数。算法应该能够增加区间的上限(16, 32, ...)。实际上，该值是插值角度。

三个示例序列。真实的序列会更大。

我如何想象解决方案？

序列将根据一些相似性进行聚类。当创建序列数据集时，将训练一些神经网络来尽快检索包含输入序列作为子序列的序列。

聚类

匹配子序列应该有一定的容差。序列 [3, 3, 3, 3, 2] 类似于 [3, 3, 4, 3, 2] = 偏差容差*。或者序列 [4, 3, 3, 2] 也类似于 [4, 3, 3, 3, 3, 2] = 连续重复的值的容差。

*我可以用相对数来区分两个值之间的差异 - 0% 同向 => 100% 相反方向。

如果输入为 [ 1,2,2,2 ] - 红色 - 输出应为 [ 4,3,2,2 ]。

如果输入为 [ 3,3,3,2 ] - 蓝色 - 输出应为 [ 2 ]。

神经网络

经过一些研究，我发现了 Hopfield 网络，它应该给出最相似的序列。但后来我意识到我的序列长度是可变的，并且 Hopfield 网络架构需要二进制值。

我可以以某种方式创建序列的二进制表示，但我不知道如何管理可能变化的长度。

让我们更上一层楼

如果序列中的每个值不是标量而是速度向量(d, s)，其中d是方向，s是速度？

相关问题

1. 神经网络可以“在线”训练吗？因此不需要知道以前的训练数据集，只需提供新的数据集即可。
2. 神经网络可以在服务器端(例如 Python)进行训练，但在客户端(JavaScript)进行预测吗？
3. 神经网络能否具有某种“短期内存”——预测会受到 2-3 个先前预测的影响？
4. 最重要的是 - 我应该使用神经网络还是其他方法？

谢谢大家。

请随时纠正我的英语。

Answer 1

Can neural networks be trained “online”? So no need to know previous train dataset, just give new dataset.

通常，您不会连续训练人工神经网络。您对其进行训练，直到误差在容差范围内，然后使用该模型进行预测。如果您想定期调整模型，您可以存储信息并每晚重新训练网络，但很可能这不会提供太大的改进，并且存在长期不良数据扭曲模型的风险。

Can neural networks be trained on server side (e.g. python) but used for prediction on client side (javascript)?

这要看情况。您打算使用经过训练的模型进行客户端预测，还是打算让用户操作实时训练立即用于预测的模型？如果模型已经经过训练，您可以使用它来预测用户事件。如果模型未经训练，您将面临不良数据损坏模型的风险。像这样的实时训练还需要使用服务器生成的新模型不断更新客户端的模型设置。

Can neural networks have some kind of “short term memory” - prediction will be affected by 2-3 previous predictions?

不建议使用之前的预测作为输入。它向系统引入了熵，如果模型连续做出一些错误的预测，就会使模型大大偏离可靠的预测。您可以尝试一下，在这种情况下，您的输入层上需要 n*k 个额外节点，其中 n 是您要使用的先前预测的数量，k 是预测中输出值的数量。

Most important - should I use neural networks or some another approach?

人工神经网络对于预测事物非常有用。最大的问题是定义范围以及做出预测所需的相关可靠数据。我制作了人工神经网络，可以预测视频游戏中的市场波动，具有数千个输入值，但预测鼠标移动将是一个挑战。没有什么可以阻止用户连续几个小时将鼠标移动一圈，或者将光标停留在一个位置。每次你对这样的 Action 进行采样时，它都会使你的模型更有可能预测这种类型的行为。良好的培训数据和受控环境至关重要。视频游戏会给预测鼠标移动带来不好的环境，因为用户行为比以前的鼠标移动更加依赖。不过，网站将是一个有利的环境，因为在 session 期间，用户以可预测的方式在有限的空间中导航。