neural-network - tensorflow 中 LSTM 的正则化

Question

Tensorflow 提供了一个很好的 LSTM 包装器。

rnn_cell.BasicLSTM(num_units, forget_bias=1.0, input_size=None,
           state_is_tuple=False, activation=tanh)

我想使用正则化，比如说 L2 正则化。但是，我无法直接访问 LSTM 单元中使用的不同权重矩阵，因此我无法明确执行类似的操作

loss = something + beta * tf.reduce_sum(tf.nn.l2_loss(weights))

有没有办法通过 LSTM 访问矩阵或以某种方式使用正则化？

Answer 1

tf.trainable_variables 给你一个列表 Variable可用于添加 L2 正则化项的对象。请注意，这会为模型中的所有变量添加正则化。如果您只想将 L2 项限制为权重的一个子集，您可以使用 name_scope 用特定的前缀命名变量，然后使用它从 tf.trainable_variables 返回的列表中过滤变量.