# 通信的数学理论
Claude Elwood Shannon，美国数学家、电子工程师和密码学家，信息论创始人。
1948年，香农发表论文——通信的数学原理，奠定了现代信息论的基础。香农还被认为是数字计算机理论和数字电路设计理论的创始人。二战期间香农为军事领域的密码破译和保密通信工作。
### 引言
Q1. 为什么要写这篇文章，这篇文章写了什么。
最近的关于PCM和PPM等通过带宽换取信噪比的调制技术的出现不断推动更加通用的理论的出现，前人研究过一些相关的理论比如奈奎斯特和Hartley，他们的研究已经奠定了很好的基础（但还是有所欠缺），他的文章补充几个方面，尤其是噪声对信道的影响，源消息的统计特性和受信者特性所引起的节省。
2. 通信研究的基本问题是什么。
通信研究的基本问题是在一端（准确或近似）重现从另一端选择的消息(在一点精确或近似地复现另一点所选取的讯息)。通信的语义层面和具体的工程问题是无关的，关键一点是从一个可能的集合中选择。
3. 什么是信息，以及信息是如何度量的。
香农并没有给出信息的定义，反而是通过说信息是如何度量的，从侧面去定义信息。他说可以通过消息源消息集合中的的个数或者其他和这个个数单调的函数来度量信息（这个信息是当从消息集合中选择一个消息的时候所产生的，并且假设每个选择是等可能的）。信息是针对通信系统而言的，并且带有时间属性，是消息的一个属性，依存于消息，是受信者对消息所带来的确定性的衡量。文中香农引用前人使用的对数来度量信息，并且阐述了相关的好处，并且提出对数的底数就是信息的单位。
4. 什么是通信系统，它由哪几部分组成，什么是消息。
信源 发送器 信道 接收器 信宿
5. 怎样构建通用的通信理论。
6. 通信系统的分类。
连续、离散和混合。分类的标准是消息和信号的类型。离散系统就是消息和信号都是离散符号的序列，比如电报，消息是字母序列，信号是点、破折号和空格的序列。一个连续系统，消息和信号都是连续的，比如无线电和电视。混合系统，就是离散和连续变量都出现的系统，比如PCM语音传输。
> C. E. Shannon,“A mathematical theory of communication”,The Bell System Technical Journal,Vol: 27,Issue: 3(1948)。此理论后经由威尔伯 L.施拉姆(Wilbur Lang Schramm）加入了反馈机制的思考，以编码─解码描述了从信源到信道，信道到信宿的过程，并认为信道正是形塑了人们的共同经验，由此成为传播理论著名的香农-施拉姆模式。
### Part 1、离散无噪声系统
1. 离散无噪声信道
**Q：如何度量一个信道的信息传输能力？**
实际速率能否达到最大值，取决于向信道馈送信息的信源。在一般条件下，离散信道中可出现信号数的对数随时间线性增加。如果能给出这一增长速率，也就是每秒需要多少比特来表示所使用的特定信号、每秒钟所需要的比特数，就能给出信息传输容量。
3. 离散信源
**Q：如何利用信源的统计知识，通过信息的正确编码，减少所需要的信道容量？**
5. 英文的近似序列
6. 马尔可夫过程的图形表示
7. 各态历经与混合信源
8. 选择，不确定性和熵
**Q：我们能不能定义一个量，用来度量一个马尔可夫过程中“生成”多少信息，度量它以怎样的速率生成信息？**
> 在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息定义为概率分布的对数的相反数是有道理的。
> 香农熵又称信息熵，反映了一条信息的信息量大小和它的不确定性之间的关系，是信息量的度量，单位为bit。 不确定性越大，熵越大，确定该事所需的信息量也越大； 不确定性越小，熵越小，确定该事所需的信息量也越小。
10. 信源的熵
11. 编解码处理的表示
12. 无噪声信道的基本定理
13. 讨论与示例
### Part 2、有噪声离散通道
11. 有噪声离散信道的表示
**Q：哪些信息传送方式最适于对抗噪声？**
我们现在考虑信号在传输过程中或者在某终端处受到噪声干扰的情景。这意味着，接受信号不一定与发送器发出的信号相同。可以区分两种情景。一种是特定的传送信号总是可以生成相同的接收信号，那这种影响可以称为“失真”。另一种是这一函数有逆函数——任何两个传送信号都不会生成相同的接收信号，只需要对接收信号执行逆函数运算，就可以校正该失真，至少在原理上如此。
13. EQUIVOCATION（疑义度？）与信道容量
14. 有噪声离散信道的基本定理
15. **Q：理想的随机序列应该有的性质是什么？**
按照前面证明的方法来模拟理想编码，通常是不现实的。信源有冗余，消除冗余，节省时间。英语中大多数的冗余仍然存在于信道符号中，但这也有一个很大的优点：允许信道中存在相当大的噪声。
15. 离散信道示例及其容量
16. 特殊情况下的信道容量
17. 高效编码举例
### Part 3、数学预备知识
18. 函数的集合与系集
在连续情境中，我们不得不处理函数的集合和函数的系集。从函数集的名字可以看出，它就是一组函数，通常是一个变量——时间的函数。为了描述函数集，我们可以给出集合中各种函数的显式表达式。
20. 带限函数系集
21. 连续分布的熵
22. 函数系集的熵
23. 线性滤波器中的熵损失
24. 两个系集之和的熵
### Part 5、连续信道
24. 连续信道的容量
25. 平均功率受限时的信道容量
27. 峰值功率受限时的信道容量
### Part 6、连续信源的信息产生速率
27. 保真度评价函数
**Q：对于连续信源，信道有限并且总有噪声，不可能实现精确传送？**
对于一个离散信源，可以算出一个确定的信息生成速率，即随机过程的熵。但对于连续信源，我们要的并不是完全精确的传送，而是在特定容差范围内的传送。
29. 信息生成速率
30. 信息产生速率的计算
*把密码学看作信道,明文是输入,密文是输出。*
*Q*：有人说香农熵是对概率的一种度量，这个概率可以替换为一定的序列吗？