gpt4 book ai didi

python - keras 中的 categorical_crossentropy 是如何实现的?

转载 作者:太空宇宙 更新时间:2023-11-03 12:55:30 25 4
gpt4 key购买 nike

我正在尝试应用蒸馏的概念,基本上是为了训练一个新的较小的网络,使其与原始网络的功能相同,但计算量更少。

我有每个样本的 softmax 输出而不是 logits。

我的问题是,分类交叉熵损失函数是如何实现的?就像它取原始标签的最大值并将其与同一索引中相应的预测值相乘,或者它对所有 logits(One Hot 编码)求和,如公式所示:

enter image description here

最佳答案

作为对“您碰巧知道 epsilon 和 tf.clip_by_value 在做什么吗?”的回答,
它确保 output != 0,因为 tf.log(0) 返回被零除的错误。
(我没有要评论的要点,但我想我会做出贡献)

关于python - keras 中的 categorical_crossentropy 是如何实现的?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44236449/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com