encryption - 实用的解释方式 "Information Theory"

Question

只要存在编码和解码，信息论就会发挥作用。例如:压缩(多媒体)、密码学。

在信息论中，我们会遇到“熵”、“自信息”、“互信息”等术语，整个主题都基于这些术语。这听起来只不过是抽象的。坦率地说，它们确实没有任何意义。

是否有任何书籍/ Material /解释(如果可以的话)可以以实用的方式解释这些事情？

编辑:

An Introduction to Information Theory: symbols, signals & noise by John Robinson Pierce is The Book that explains it the way I want (practically). Its too good. I started reading it.

Answer 1

Shanon 的原始论文“A mathematical theory of communication”是研究这一理论的一个非常非常重要的资源。任何人都不应该错过它。

通过阅读它，您将了解香农如何得出应该消除大多数疑虑的理论。

此外，研究霍夫曼压缩算法的工作原理也会非常有帮助。

编辑:

An Introduction to Information Theory

John R. Pierce

根据亚马逊评论，似乎不错(我还没有尝试过)。

[通过 Google 搜索“信息论门外汉”]