vowpalwabbit - vowpal wabbit 如何与梯度下降算法一起使用？

Question

我一直在努力理解 vowpal wabbit 算法。有没有人可以帮助我了解 VW 以及如何实现它

Answer 1

Vowpal Wabbit专注于在线学习(虽然它也可以批处理 L-BFGS)，它的主要算法是 Stochastic gradient descent有几个(可选的，但包含在默认值中)改进(自适应、规范化更新、巧妙的重要性加权……)。该算法在 tutorial 的幻灯片 5 和 11 中进行了描述。 .

不需要实现它，它已经实现了:-)而且它 super 快并且内存效率高。因此，代码包含很多优化技巧，不太适合初学者检查。