machine-learning - Deep Mind 可微神经计算机 (DNC) 中 LSTM 变体的维度

Question

我正在尝试实现 Deep Mind 的 DNC - Nature paper - 使用 PyTorch 0.4.0。

在实现他们使用的 LSTM 变体时，我遇到了一些维度问题。
为简化起见，假设 BATCH=1。

他们在论文中列出的方程如下:

其中 [x;h] 表示将 x 和 h 连接成一个向量，而 i >、f 和 o 是列向量。

我的问题是如何计算状态s_t。
第二个附录是通过将 i 与列向量相乘获得的，因此结果要么是标量(首先转置 i，然后进行标量积)，要么是错误的(两个列向量乘以)。
因此状态会产生一个标量...

出于同样的原因，隐藏状态 h_t 也是一个标量，但它必须是一个列向量。

显然我在某个地方错了，但我不知道错在哪里。

Answer 1

通过查看Wikipedia LSTM Article我想我已经明白了。

这是文章中发现的标准 LSTM 的正式实现:

圆圈代表逐个元素的乘积。

通过在 DNC 方程的相应部分(s_t 和 o_t)中使用该乘积，尺寸即可发挥作用。