python - PyTorch 线性代数梯度

Question

我希望通过奇异值分解反向传播梯度以实现正则化。 PyTorch 目前不支持通过奇异值分解进行反向传播。

我知道我可以编写自己的自定义函数来对变量进行操作；获取它的 .data 张量，将 torch.svd 应用于它，将一个变量包裹在它的奇异值周围并在正向传递中返回它，并在反向传递中将适当的雅可比矩阵应用于传入的梯度。

但是，我想知道是否有更优雅(并且可能更快)的解决方案，我可以直接覆盖“Type Variable doesn't implement stateless method svd”错误，调用 Lapack 等？

如果有人可以指导我完成我需要查看的适当步骤和源文件，我将不胜感激。我想这些步骤同样适用于目前没有相关反向方法的其他线性代数运算。

Answer 1

torch.svd 具有前向和后向传递的功能现在可在 Pytorch master 中使用:

http://pytorch.org/docs/master/torch.html#torch.svd

您需要从源代码安装 Pytorch: https://github.com/pytorch/pytorch/#from-source