matlab - 机器学习技术用于网络入侵检测的可行性

Question

是否有机器学习概念(算法或多分类器系统)可以检测(或尝试)网络攻击的方差。

基于签名的入侵检测系统的最大问题之一是无法检测新的或变体的攻击。

读起来，异常检测似乎仍然是一种基于统计的吞噬，它指的是检测给定数据集中的模式，这与检测数据包有效负载的变化不同。基于异常的 NIDS 监视网络流量并将其与正常流量配置文件的既定基线进行比较。基线描述了网络的“正常”情况 - 例如正常带宽使用、使用的通用协议(protocol)、端口号和设备的正确组合等

假设有人使用病毒 A 通过网络传播，然后有人编写了一条规则来阻止病毒 A，但另一个人编写了病毒 A 的“变体”，称为病毒 B，纯粹是为了逃避最初的规则，但仍然使用大多数(如果不是全部)相同的策略/代码。没有办法检测方差吗？

如果有一个总称的话，它会属于什么，因为我一直幻想着异常检测就是它。

机器学习可以用于数据包有效负载级别的模式识别(而不是模式匹配)吗？

Answer 1

我认为您对机器学习技术的直觉是正确的，或者将被证明是正确的(基于签名的入侵检测系统的最大问题之一是无法检测新的或变体的攻击.) ML 技术的卓越性能通常归因于这些算法的泛化能力(多种软约束而不是一些硬约束)。以及适应(根据新的训练实例进行更新，以挫败简单的对策)——我认为这两个属性对于识别网络攻击至关重要。

撇开理论前景不谈，将机器学习技术应用于 OP 中提到的问题存在实际困难。到目前为止，最重要的是收集数据来训练分类器很困难。特别是，将数据点可靠地标记为“入侵”可能并不容易；同样，我的猜测是这些实例在原始数据中稀疏分布。”

我认为正是这种限制导致人们对将无监督机器学习技术应用于网络入侵检测等问题的兴趣增加(至少已发表的文献证明了这一点) .

无监督技术与监督技术的不同之处在于，无监督技术在没有响应变量(即没有类标签)的情况下将数据馈送到算法。在这些情况下，您依靠算法来辨别数据中的结构 - 即，将数据中的一些固有顺序划分为相当稳定的组或簇(可能是您OP所想到的“方差”。因此，使用无监督技术，不需要显式地展示每个类的算法实例，也不需要建立基线测量等。

应用于此类问题的最常用的无监督机器学习技术可能是Kohonen Map(有时也称为自组织映射 或 SOM。)

我经常使用 Kohonen map ，但到目前为止还没有用于此目的。然而，有许多已发表的报告表明它们在您感兴趣的领域中成功应用，例如，

Dynamic Intrusion Detection Using Self-Organizing Maps

Multiple Self-Organizing Maps for Intrusion Detection

我知道 MATLAB 至少有一种可用的 Kohonen Map 实现 - SOM Toolbox 。该工具箱的主页还包含 Kohonen map 的简要介绍。