交叉熵公式

“`” 参考回答：

交叉熵：设p(x)、q(x)是X中取值的两个概率分布，则p对q的相对熵是：

<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://uploadfiles.nowcoder.com/images/20190315/311436_1552623955558_899FC5DC445DBFCA03729E4F6E2275B1"">

在一定程度上，相对熵可以度量两个随机变量的“距离”，且有D(p||q) ≠D(q||p)。另外，值得一提的是，D(p||q)是必然大于等于0的。

互信息：两个随机变量X，Y的互信息定义为X，Y的联合分布和各自独立分布乘积的相对熵，用I(X,Y)表示：<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://uploadfiles.nowcoder.com/images/20190315/311436_1552623932397_E2BF4DC18D7E77D61891BD5074BF480F"">

且有I(X,Y)=D(P(X,Y)||P(X)P(Y))。下面，咱们来计算下H(Y)-I(X,Y)的结果，如下：

<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://uploadfiles.nowcoder.com/images/20190315/311436_1552623908411_28B4F080805EA8F9BF74982FDDC44D87"">

<pre><code> "“`