gpt4 book ai didi

tensorflow - Tensorboard 的零值分数应该如何解释?

转载 作者:行者123 更新时间:2023-12-05 00:14:53 29 4
gpt4 key购买 nike

我正在运行一个云 ML 引擎作业,我的张量板图显示隐藏层的零值比例随着步数的增加稳步增加到 1。这个情节应该如何解释?我相信这是一件好事,因为更多的零值表明该模型对其所做的预测越来越“确定”。

tensorboard: hidden layer fraction of zero values

最佳答案

这通常意味着您的正则化技术和/或激活函数强制激活为零。您尚未分享模型的详细信息,但这在使用 dropout 时很常见,尤其是使用 relu 激活函数时。

具有大量零激活的模型倾向于更好地泛化,因此提供更好的准确性。

如果您想了解更多详细信息,请访问 JMLR paper on dropout .

我必须注意,激活值为零有时是不好的,至少对于 ReLU 激活函数是这样。基本上,它们可以不可逆转地“死亡”。因此,如果您看到模型质量不佳,请当心。更多信息 here .

关于tensorflow - Tensorboard 的零值分数应该如何解释?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45840665/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com