tensorflow - 在 tensorflow 训练期间改变 Dropout 率 - 可能吗？

Question

我认为有时在神经网络(特别是一般对抗网络)训练期间改变丢失率可能是一个好主意，从高丢失率开始，然后线性地将丢失率降低到零。您认为这有意义吗？如果是的话，是否有可能在 tensorflow 中实现这一点？

Answer 1

您可以将占位符传递给 tf.nn.dropout 的 keep_prob 参数为了能够在运行时提供任意的丢失率:

# array of ones
data=np.ones((3,4), dtype=np.float32)

keep_prob = tf.placeholder(tf.float32)
drop = tf.nn.dropout(data, keep_prob=keep_prob)

sess = tf. InteractiveSession()

print(sess.run(drop, feed_dict={keep_prob: 0.5}))
# >>> [[0. 2. 0. 2.]
#      [0. 2. 0. 0.]
#      [2. 2. 2. 2.]]

print(sess.run(drop, feed_dict={keep_prob: 1.0}))
# >>> [[1. 1. 1. 1.]
#      [1. 1. 1. 1.]
#      [1. 1. 1. 1.]]

至于这是否有意义，验证它的最佳方法是运行一组具有静态和变化的退出率的实验，然后比较结果。