个人中心
gpt4 book ai didi

交叉熵、KL散度|定义与相互关系

转载 作者：撒哈拉 更新时间：2024-07-25 12:57:47 60 4
gpt4 key购买 nike


1 KL 散度

对于离散概率分布 \(P\) 和 \(Q\) ，KL 散度定义为:

\[\text{KL}(P \| Q) = -E_{x\sim P}\log P(x)-\log Q(x) \\ =\sum_{\mathbf{x}} P(\mathbf{x}) \log \frac{P(\mathbf{x})}{Q(\mathbf{x})} \]

对于连续概率分布，定义为:

\[\text{KL}(P \| Q) = \int p(\mathbf{x}) \log \frac{p(\mathbf{x})}{q(\mathbf{x})} d\mathbf{x} \]

其中，\(p(\mathbf{x})\) 是 \(P\) 的概率密度函数，\(q(\mathbf{x})\) 是 \(Q\) 的概率密度函数.

KL 散度的性质:

  1. 非负性：KL 散度总是非负的，\(\text{KL}(P \| Q) \geq 0\)。
  2. 不对称性：KL 散度不是对称的，即 \(\text{KL}(P \| Q) \neq \text{KL}(Q \| P)\)。
  3. 零点：当 \(P\) 和 \(Q\) 完全相同时，\(\text{KL}(P \| Q) = 0\)。
  4. 不满足三角不等式：KL 散度不满足传统意义上的三角不等式。

2 交叉熵

交叉熵（cross-entropy）和 KL 散度联系密切，也可以用来衡量两个分布的差异.

对于离散概率分布 \(P\) 和 \(Q\) ，交叉熵定义为:

\[H(P,Q)=-E_{x\sim P}\log Q(x)=-\sum P(x_i)\log Q(x_i) \]

对于连续概率分布，定义为:

\[H(P,Q) = -\int p(\mathbf{x}) \log q(\mathbf{x}) d\mathbf{x} \]

可以看出，\(H(P,Q)=H(P)+D_\text{KL}(P \| Q)\) ，其中 \(H(P)\) 是 P 的熵.

性质:

  1. 非负性;
  2. 和 KL 散度相同，交叉熵也不具备对称性，即 \(H(P,Q)\neq H(Q,P)\);
  3. 对同一个分布求交叉熵，等于对其求熵。


最后此篇关于交叉熵、KL散度|定义与相互关系的文章就讲到这里了,如果你想了解更多关于交叉熵、KL散度|定义与相互关系的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

60 4 0
文章推荐： Java编程指南：高级技巧解析-Excel单元格样式的编程设置
文章推荐： 硬件开发笔记（二十八）：TPS54331电源设计（一）：5V电源供电原理图设计
文章推荐： PHP转Go系列|推荐一个强大的Go语言工具函数库
文章推荐： elasticdump数据迁移与内外网安装
撒哈拉
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
全站热门文章
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com