data-mining - 如何检测和删除rapidminer中的噪音？

Question

我是 Rapid miner 5 的新手，只想知道如何在我的数据中找到噪音并在图表中显示它们以及如何删除它们？

Answer 1

一个复杂的问题，因为它取决于您所说的噪音是什么意思。

如果您的意思是查找值明显错误的单个属性，那么您可以绘制直方图 View 并计算出构成有效值的某种限制。然后，您可以使用 Filter Examples 强加该规则。删除它们。

如果您的意思是查找应用了某种随机抖动的属性，则很难检测到这些属性。只有事先知道分布的预期形状是什么，您才能与观察进行比较并对此做一些事情。然而，要采取的行动绝不是显而易见的。

如果您的意思是在示例集中查找与其他示例明显不同的示例，那么您可以考虑使用各种异常值函数。最简单的入门方法是 Detect Outlier (Distances) .这会根据使用示例的所有属性的距离计算找到一组异常值(默认为 10)。它创建了一个名为 outlier 的新属性。设置为 true 或 false。然后您可以使用 Filter Examples运算符以删除那些设置为 true 的操作。

希望至少作为开始有所帮助。