machine-learning - 为什么标准化特征值不会对训练输出产生太大影响？

Question

我有 3113 个训练样本，位于大小为 78 的密集特征向量上。特征的大小不同:有些约为 20，有些为 200K。例如，以下是训练示例之一，采用 vowpal-wabbit 输入格式。

0.050000 1 '2006-07-10_00:00:00_0.050000| F0:9.670000 F1:0.130000 F2:0.320000 F3:0.570000 F4:9.837000 F5:9.593000 F6:9.238150 F7:9.646667 F8:9.631333 F9:8.338904 F10:9.748000 F11:10.227667 F12:10.253667 F13:9.800000 F14:0.010000 F15:0.030000 F16:-0.270000 F17:10.015000 F18:9.726000 F19:9.367100 F20:9.800000 F21:9.792667 F22:8.457452 F23:9.972000 F24:10.394833 F25:10.412667 F26:9.600000 F27:0.090000 F28:0.230000 F29:0.370000 F30:9.733000 F31:9.413000 F32:9.095150 F33:9.586667 F34:9.466000 F35:8.216658 F36:9.682000 F37:10.048333 F38:10.072000 F39:9.780000 F40:0.020000 F41:-0.060000 F42:-0.560000 F43:9.898000 F44:9.537500 F45:9.213700 F46:9.740000 F47:9.628000 F48:8.327233 F49:9.924000 F50:10.216333 F51:10.226667 F52:127925000.000000 F53:-15198000.000000 F54:-72286000.000000 F55:-196161000.000000 F56:143342800.000000 F57:148948500.000000 F58:118894335.000000 F59:119027666.666667 F60:181170133.333333 F61:89209167.123288 F62:141400600.000000 F63:241658716.666667 F64:199031688.888889 F65:132549.000000 F66:-16597.000000 F67:-77416.000000 F68:-205999.000000 F69:144690.000000 F70:155022.850000 F71:122618.450000 F72:123340.666667 F73:187013.300000 F74:99751.769863 F75:144013.200000 F76:237918.433333 F77:195173.377778

训练结果不好，所以我想对特征进行归一化，使它们处于相同的量级。我计算了所有示例中每个特征的平均值和标准差，然后执行 newValue = (oldValue -mean)/stddev，以便获得新的 mean 和 stddev 都是1。对于同一个例子，下面是归一化后的特征值:

0.050000 1 '2006-07-10_00:00:00_0.050000| F0:-0.660690 F1:0.226462 F2:0.383638 F3:0.398393 F4:-0.644898 F5:-0.670712 F6:-0.758233 F7:-0.663447 F8:-0.667865 F9:-0.960165 F10:-0.653406 F11:-0.610559 F12:-0.612965 F13:-0.659234 F14:0.027834 F15:0.038049 F16:-0.201668 F17:-0.638971 F18:-0.668556 F19:-0.754856 F20:-0.659535 F21:-0.663001 F22:-0.953793 F23:-0.642736 F24:-0.606725 F25:-0.609946 F26:-0.657141 F27:0.173106 F28:0.310076 F29:0.295814 F30:-0.644357 F31:-0.678860 F32:-0.764422 F33:-0.658869 F34:-0.674367 F35:-0.968679 F36:-0.649145 F37:-0.616868 F38:-0.619564 F39:-0.649498 F40:0.041261 F41:-0.066987 F42:-0.355693 F43:-0.638604 F44:-0.676379 F45:-0.761250 F46:-0.653962 F47:-0.668194 F48:-0.962591 F49:-0.635441 F50:-0.611600 F51:-0.615670 F52:-0.593324 F53:-0.030322 F54:-0.095290 F55:-0.139602 F56:-0.652741 F57:-0.675629 F58:-0.851058 F59:-0.642028 F60:-0.648002 F61:-0.952896 F62:-0.629172 F63:-0.592340 F64:-0.682273 F65:-0.470121 F66:-0.045396 F67:-0.128265 F68:-0.185295 F69:-0.510251 F70:-0.515335 F71:-0.687727 F72:-0.512749 F73:-0.471032 F74:-0.789335 F75:-0.491188 F76:-0.400105 F77:-0.505242

但是，这会产生基本相同的测试结果(如果不完全相同，因为我在每次训练之前都会对示例进行洗牌)。

想知道为什么结果没有变化？

这是我的训练和测试命令:

rm -f cache
cat input.feat | vw -f model --passes 20 --cache_file cache
cat input.feat | vw -i model -t -p predictions --invert_hash readable_model

(是的，我现在正在测试训练数据，因为我只有很少的数据示例可供训练。)

<小时/>

更多背景:

一些特征是“第 2 层”——它们是通过对“第 1 层”特征进行操作或交叉乘积而得出的(例如移动平均值、1-3 阶导数等)。如果我在计算第 2 层特征之前标准化第 1 层特征，实际上会显着改进模型。

所以我很困惑为什么规范化第 1 层特征(在生成第 2 层特征之前)有很大帮助，而规范化所有特征(在生成第 2 层特征之后)根本没有帮助？

顺便说一句，由于我正在训练回归器，因此我使用 SSE 作为判断模型质量的指标。

Answer 1

vw 默认情况下按比例标准化特征值。

这是在线算法的一部分。它是在运行时逐渐完成的。

事实上，它的作用远不止于此，vw 增强型 SGD 算法还保持单独的学习率(每个特征)，因此稀有特征的学习率不会像常见特征那样快速衰减(- -自适应)。最后还有一个重要性感知更新，由第三个选项 (--invariant) 控制。

3 个独立的 SGD 增强选项(默认情况下均打开)是:

• --自适应
• --不变
• --标准化

最后一个选项是调整比例值的选项(对大值和小值进行折扣)。您可以使用选项 --sgd 禁用所有这些 SGD 增强功能。您还可以通过显式指定来部分启用任何子集。

总而言之，您可以使用 2^3 = 8 个 SGD 选项组合。