machine-learning - 假设数据正常但噪声均匀，如何从一组数据点中去除噪声？

Question

我在平面的某个有界矩形内有很多点。它们中的大多数遵循 n 个二元正态分布之一(n 的数量未知)，但剩余的一小部分点遵循整个矩形的均匀分布。我什至愿意考虑这两种情况，即我估计有多少点是噪声，但更喜欢一种与此无关的解决方案。

在此图像中，有两个高斯函数，红点是我要滤除的均匀噪声。请注意，这是我手工绘制的，因此优点可能看起来不符合高斯分布。但在真实的情况下他们会的!

我想过滤掉均匀的噪音，这样我就只剩下高斯的混合了。根据我的正态性假设，是否有一个相当可靠的解决方案？

我一直在考虑使用 DBSCAN 作为清理步骤来消除所有噪音，但显然存在选择参数的问题。

我目前使用 GMM 对数据进行聚类，然后一些均匀噪声最终会出现在自己的聚类中，其中包含大量、疯狂的协方差矩阵，这些矩阵似乎远远超出了矩形。但我不知道有一种可靠的方法来选择哪些簇是噪声簇，哪些簇是真正的高斯簇。

看来我想要测量检测到的簇的密度。或者将点数与置信区域的面积联系起来，因为在均匀的情况下该比率会更加夸张。

有没有关于类似问题的论文？

Answer 1

由于高斯函数是无限的，因此您应该预期它们会超出矩形。在这些数据上，我发现 EM 与收集所有噪声点的“噪声”高斯函数配合得很好，并且您会忽略模型中的异常值。由于它们的高方差和低密度，您应该能够轻松检测到。

但是 DBSCAN 方法听起来非常值得尝试。