machine-learning - 随机特征映射

Question

我正在学习机器学习类(class)在练习 2 的第二部分中，我们应该使用特征图。他们通过将特征映射到 x1 和 x2 直到六次方的所有多项式项来添加新特征。然而，我的导师告诉我，我不应该使用这个算法，而应该随机添加特征。然而，我们添加新特征是为了更好地分类。那么随机添加特征不会让事情变得更复杂吗？那么我们可以随机添加功能还是应该遵循一些规则？

Answer 1

添加新特征(例如现有特征的多项式)有助于通过使用复杂的假设来减少误差。但这可能会导致训练数据过度拟合，并且可能无法在测试集上产生有效的结果。

因此，为了添加新功能，应考虑以下因素:

1)通过分析结果手动选择要保留的特征。

2)另一种方法是使用所有特征，然后使用正则化，这将自动降低对目标变量贡献较小的特征的重要性，而更加重视对目标变量贡献较大的特征。

3) 随机选择特征可能总是有帮助，也可能不总是有帮助。总是需要选择那些对目标变量贡献更大的特征。随机选择可能不是合适的解决方案。

重要说明

在训练过程中始终使用验证集来检查错误。在使用多项式特征时，请务必检查学习曲线以确保模型不应过度拟合训练数据。如果发生这种情况，请尝试增加正则化参数(lambda)。正则化有助于减少过度拟合。