vowpalwabbit - Vowpal Wabbit 可读模型权重解释

Question

最近我在使用 Vowpal Wabbit 进行分类，我得到了一个关于 readable_model 的问题。

这是我的命令:vw --quiet --save_resume --compressed aeroplane.txt.gzip --loss_function=hinge --readable_model aeroplane.txt

可读模型文件如下:

Version 7.7.0
Min label:-1.000000
Max label:1.000000
bits:18
0 pairs: 
0 triples: 
rank:0
lda:0
0 ngram: 
0 skip: 
options:
:1
initial_t 0.000000
norm normalizer 116869.664062
t 3984.000051
sum_loss 2400.032932
sum_loss_since_last_dump 2400.032932
dump_interval 1.000000
min_label -1.000000
max_label 1.000000
weighted_examples 3984.000051
weighted_labels 0.000051
weighted_unlabeled_examples 0.000000
example_number 2111
total_features 1917412
0:4.879771 0.004405 0.007933
1:5.268138 0.017729 0.020223
2:0.464031 0.001313 0.007443
3:3.158707 0.083495 0.029674
4:-22.006199 0.000721 0.004386
5:7.686290 0.018617 0.011562
......
1023:0.363004 0.022025 0.020973
116060:0.059659 2122.647461 1.000000

我为每个示例设置了 1024 个特征，并使用 i-1 作为第 i 个特征的特征名称。我的问题是:为什么我为每个功能获得 3 个权重？不是应该只有1个重量吗？我是 ML 的新手，很困惑。

Answer 1

简单的 SGD(随机梯度下降)每个特征只需要一个参数，即权重。但是，VW 默认使用 --adaptive --normalized --invariant 更新。所以除了权重之外，它还需要为每个特征存储另外两个参数:

• --adaptive 的梯度总和(AdaGrad 样式更新)，
• --normalized 的每个特征正则化。

仅当提供 --save_resume 时，这两个附加参数才会存储在模型中(可读或二进制)。

奇怪的是，如果您运行 vw --sgd --save_resume，可读模型仍然包含每个特征三个参数，尽管 --sgd 实际上意味着不-自适应的，非标准化的和非不变的。我认为这是 --readable_model 实现中的错误。

编辑:这最后一个奇怪的行为确实是一个错误，它是 fixed now .