neural-network - Vowpal 兔 : Input of neural network?

Question

在机器学习工具 vowpal wabbit ( https://github.com/JohnLangford/vowpal_wabbit/ ) 中，通常训练线性估计器 y*=wx。但是，可以添加前向神经。

我的问题是:当我通过命令行选项“-nn x”使用神经网络时，线性估计器wx是否完全被神经网络取代？

编辑:感谢 Martin 和 arielf。所以很明显，不同的星座看起来像这样:

带有“--nn”的模型的权重是通过反向传播估计的？

Answer 1

[编辑:更正答案:原始答案不准确，谢谢 Martin]

1 层 NN 将输入特征馈送到 NN 层(所有可能的交互)，然后将其馈送到输出层。

为了在没有交互的情况下按原样添加传递功能，您应该添加 --inpass 选项。

您可以查看使用 --invert_hash 创建的模型，在一个小示例中获得可读模型:

$ cat dat.vw
1 | a b
2 | a c

# default linear model, no NN:
$ vw --invert_hash dat.ih dat.vw
...

$ cat dat.ih
...
:0
Constant:116060:0.387717
a:92594:0.387717
b:163331:0.193097
c:185951:0.228943

# Now add --nn 2 (note double-dash in long option)
# to use a 1-layer NN with 2 nodes
$ vw --nn 2 --invert_hash dat-nn.ih dat.vw
...

$ cat dat-nn.ih
...
:0
Constant:202096:-0.270493
Constant[1]:202097:0.214776
a:108232:-0.270493
a[1]:108233:0.214776
b:129036:-0.084952
b[1]:129037:0.047303
c:219516:-0.196927
c[1]:219517:0.172029

看起来 a[N] 是 a 对隐藏层 NN 节点 N 的贡献(显然从基数/索引零开始，独立的 a 符号有点令人困惑)。

当你添加 --inpass 时，你会得到每个特征的额外权重(索引 [2]):

$ vw --nn 2 --inpass --invert_hash dat-nn-ip.ih dat.vw
...
$ cat dat-nn-ip.ih
...
:0
Constant:202096:-0.237726
Constant[1]:202097:0.180595
Constant[2]:202098:0.451169
a:108232:-0.237726
a[1]:108233:0.180595
a[2]:108234:0.451169
b:129036:-0.084570
b[1]:129037:0.047293
b[2]:129038:0.239481
c:219516:-0.167271
c[1]:219517:0.139488
c[2]:219518:0.256326