matlab - 香农信道容量和熵的实现问题

Question

将相空间划分为 Alpha分区，目的是找出分区有多好。从这个角度来看，我们需要找出源熵。现在，我用谷歌搜索了很多，但找不到源熵是什么。谁能解释一下:

香农熵与源熵有何不同以及如何实现源熵？

如何计算 channel 容量？下面是计算数据 x 的香农熵的代码。如果修改以下代码来计算信道容量，我将非常感激。

x = x(1:end);
    if nargin == 1        
        p = freq(double(x));
    else
        if numel(x) ~= numel(y)
            e = -1;
            warning('Sizes of vector do not match.');
            return;
        end
        y = y(1:end);
        p = joint_freq(double(x), double(y));
    end

    % Compute Shannon entropy
    xlogy(repmat(256, [length(p) 1]), p);
    e = -sum(p .* xlogy(repmat(256, [length(p) 1]), p));

Kolgomorov 熵和香农熵在技术含量较低的术语中有什么区别？理解 Kolgomorov 复杂度返回的复杂度数的意义/含义令人困惑。

Answer 1

首先解决您的最后一个问题，Kolmogorov 熵是系统可以采取的可能轨迹的熵，即它是系统可能演化的“随机性”的度量。另一方面，香农熵是系统状态随机性的度量。从您正在比较的事实x至 y , 而不是 x 的多个轨迹到 y 的多个轨迹，看起来您应该计算香农熵。

通常我们想要计算一些叫做互信息的东西，它是当我们以其他信号为条件时，我们的信号的熵或“随机性”减少了多少的量度。对于上面的代码，您试图测量 x 中有多少熵。 ，或者 x 中有多少熵给定 y .这两个值之间的差异是我们对 x 的了解程度。知乎 y .我们称这种不同为互信息，或者，如果我们首先除以您正在查看的系列的时间长度，则为信道容量。 (源熵只是 y 的熵，假设 y 是您的“源”)。

您的代码存在一些问题，如果不知道 joint_freq 的实现，我无法确切知道它们是什么。 .计算x的熵给定 y您应该采用联合概率分布的二维矩阵，计算 x 中的熵总和像你现在一样的方向，但也沿剩余的维度取平均值。