machine-learning - 罕见事件检测

Question

已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足 Stack Overflow guidelines 。目前不接受答案。

---

我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题，以便用事实和引文来回答。

去年关闭。

Improve this question

人们用于罕见事件检测的算法有什么好的引用吗？另外，如何考虑时间因素？如果我有一种情况，连续的数据点告诉一些事情(t_1 到 t_n)，如何将其纳入正常的机器学习场景？

任何指针将不胜感激。

Answer 1

更多地描述您的场景可能会有所帮助。由于您试图找到罕见事件，我假设您有一个不罕见的工作定义(对于某些问题空间，这确实很难)。

例如，假设我们有一些进程不是随机游走进程，例如某些服务的 CPU 利用率。如果您想检测罕见事件，您可以获取平均利用率，然后查看几个标准差。技术来自Statistical Process Control在这里很有用。

如果我们有一个随机游走过程，例如股票价格(蠕虫 jar 头打开......为了简单起见，请假设这一点)。从 t 到 t+1 的定向运动是随机的。随机事件可能是单个方向上一定数量的连续移动，或者是单个时间步上单个方向上的大幅移动。请参阅Stochastic Calculus了解基本概念。

如果步骤 t 的进程仅依赖于步骤 t-1，那么我们可以使用 Markov Chains对过程进行建模。

这是您可以使用的数学技术的简短列表。现在开始机器学习。为什么要使用机器学习？ (总是要考虑一下以确保您不会使问题过于复杂化)让我们假设您这样做并且这是正确的解决方案。在此阶段，您使用的实际算法并不是很重要。您需要做的是定义什么是罕见事件。相反，您可以定义什么是正常事件并查找不正常的事件。请注意，这些不是同一件事。假设我们产生一组罕见事件 r1...rn。每一个罕见事件都会有一些与之相关的特征。例如，如果一台计算机出现故障，可能会有诸如上次在网络上看到它的时间、其交换机端口状态等特征......这实际上是机器学习、训练集构建中最重要的部分。它通常包括手动标记一组示例来训练模型。一旦您更好地了解了特征空间，您就可以训练另一个模型来为您进行标记。重复此过程，直到您满意为止。

现在，如果您能够定义罕见事件集，那么简单地生成启发式方法可能会更便宜。为了检测罕见事件，我一直发现这种方法效果更好。