image-processing - 在这种情况下，熵是什么意思？

Question

我正在阅读一篇图像分割论文，其中使用范式“信号分离”来解决问题，即信号(在这种情况下，图像)由多个信号(图像中的对象)和噪声组成的想法，任务是分离出信号(分割图像)。

算法的输出是一个矩阵，它表示将图像分割为 M 个分量。 T 是图像中的总像素数，是源分量(/信号/对象)i 在像素 j 处的值

在我正在阅读的论文中，作者希望为 选择一个分量 m它符合某些平滑度和熵标准。但我无法理解在这种情况下熵是什么。

熵定义如下:



他们说'' 是与 的直方图的区间相关联的概率''

目标成分是肿瘤，论文中写道:“具有“几乎”恒定值的肿瘤相关成分 预计具有最低的熵值。

但在这种情况下，低熵意味着什么？每个 bin 代表什么？低熵向量是什么样子的？

link to paper

Answer 1

他们在谈论Shannon's熵。查看熵的一种方法是将其与与给定概率分布相关联的事件的不确定性量相关联。熵可以作为“无序”的度量。随着无序程度的升高，熵增加，事件变得更难以预测。

回到论文中熵的定义:



H(s_m) 是随机变量 s_m 的熵。这里是结果 s_m 发生的概率。 m 是所有可能的结果。使用灰度直方图计算概率密度 p_n，这就是总和从 1 到 256 的原因。 bin 表示可能的状态。

那么这是什么意思？在图像处理中，熵可能用于对纹理进行分类，当某些模式以近似某些方式重复时，某个纹理可能具有某个熵。在论文的上下文中，低熵(H(s_m) 表示组件 m 内的低无序、低方差。低熵的组件比高熵的组件更同质，他们将其与平滑度标准结合使用以进行分类组件。

另一种看待熵的方法是将其视为信息内容的度量。具有相对“低”熵的向量是具有相对低信息内容的向量。它可能是 [0 1 0 1 1 1 0]。具有相对“高”熵的向量是具有相对高信息内容的向量。它可能是 [0 242 124 222 149 13]。

这是一个引人入胜且复杂的主题，真的无法用一篇文章来概括。