tensorflow - 生成对抗网络tanh？

Question

Closed. This question needs to be more focused。它当前不接受答案。












想要改善这个问题吗？更新问题，使它仅关注 editing this post的一个问题。

4年前关闭。



Improve this question




我想知道，为什么在我看到的大多数GAN模型中(至少在MNIST中)，激活函数(对于鉴别器和生成器)都是tanh？
ReLu效率更高吗？ (对于预测网络，我总是会阅读)

谢谢!

最佳答案

摘自DCGAN论文[Radford等。 https://arxiv.org/pdf/1511.06434.pdf] ...

“ReLU激活(Nair＆Hinton，2010年)在发生器中使用，但输出除外
使用Tanh函数的图层。我们观察到，使用有限激活可以使模型
以更快地学习以饱和并覆盖训练分布的色彩空间。内
鉴别器，我们发现泄漏的整流激活(Maas等，2013)(Xu等，2015)起作用
好，尤其是对于更高分辨率的建模。这与原始GAN纸形成对比，
使用了maxout激活(Goodfellow等，2013)。”

tanh的对称性可能在这里是一个优势，因为网络应该以对称方式处理较深的颜色和较浅的颜色。

关于tensorflow - 生成对抗网络tanh？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41489907/

上一篇：ionic-framework - Ionic 3 - 在闪屏显示期间隐藏状态栏

下一篇：sql-server-2008 - 在 SQL Server 2008 中返回可变数量的列

相关文章：

python-3.x - 使用tensorflow在CNN中出现尺寸错误

android - 无法测试和部署用于推理的 deeplabv3-mobilenetv2 tensorflow-lite 分割模型

machine-learning - 使用机器学习 (ANN) 对奇数进行分类

machine-learning - 双向 LSTM 和 LSTM 有什么区别？

machine-learning - 非引用损失函数

matlab - 如何在自定义数据集上执行 RCNN 对象检测？

javascript - 如何在 tensorflow.js 中使用图像作为输入？

python - 如何在tensorflow中自动选择空闲GPU进行模型训练？

python - 我如何使用 Mean_Squared_Error (Keras) 知道我的神经网络是否表现良好

python - 如何使用 tf.keras.layers 通过 Tensorflow conv2d 馈送批量图像序列

Answer 1

摘自DCGAN论文[Radford等。 https://arxiv.org/pdf/1511.06434.pdf] ...

“ReLU激活(Nair＆Hinton，2010年)在发生器中使用，但输出除外
使用Tanh函数的图层。我们观察到，使用有限激活可以使模型
以更快地学习以饱和并覆盖训练分布的色彩空间。内
鉴别器，我们发现泄漏的整流激活(Maas等，2013)(Xu等，2015)起作用
好，尤其是对于更高分辨率的建模。这与原始GAN纸形成对比，
使用了maxout激活(Goodfellow等，2013)。”

tanh的对称性可能在这里是一个优势，因为网络应该以对称方式处理较深的颜色和较浅的颜色。