apache-spark - 从平均序列预测下一个事件

Question

我在机器学习方面还很陌生，所以我在意识到如何使用 Spark 机器学习库以及反射(reflect)事件序列的时间序列数据时遇到了一些困难。

我有一个包含此信息的表:

步骤N#、element_id、Session_id

其中步骤 n# 是每个元素出现的顺序，element_id 是已被单击的元素，session_id 是发生这种情况的用户 session 。

它由多个 session 和每个 session 的多个元素序列组成。即一个 session 将包含多行元素。此外，每个 session 都有相同的起点和终点。

我的目标是训练一个模型，该模型将使用观察到的元素序列来预测下一个最有可能被点击的元素。这意味着我需要根据之前的事件来预测下一个事件。

(换句话说，我需要对特定工作流程的用户点击行为进行平均，以便模型能够根据平均值预测下一个最相关的点击)

从我在网上找到的论文和示例中，我了解到，当存在单个事件序列用作训练模型的输入时，这是有意义的。

但就我而言，我有多个 session /事件实例(全部从同一点开始)，我想训练一个平均模型。我发现理解如何使用 Spark 中的 HMM 等方法来实现这一点有点具有挑战性。有没有涵盖此案例的实际示例或教程？

感谢您花时间阅读我的帖子。任何想法将不胜感激!

Answer 1

这也可以通过频繁的模式挖掘来解决。检查这个:https://spark.apache.org/docs/latest/mllib-frequent-pattern-mining.html

在这种情况下，您可以找到经常一起出现的频繁项目。在第一步中，您教模型什么是常见的，然后在预测步骤中，模型可以看到一些事件，并可以预测该事件最常见的事件