【信息论实验报告(实验三、香农编码)】一、实验目的
本实验旨在通过实际操作，理解香农编码的基本原理及其在信息压缩中的应用。通过对给定信源符号的概率分布进行分析，掌握如何构造香农码，并计算其平均码长与编码效率，从而加深对信息论中编码理论的理解。
二、实验原理
香农编码是一种基于概率的无损数据压缩方法，由克劳德·香农提出。该方法的核心思想是根据信源符号出现的概率大小，为每个符号分配一个唯一的二进制码字。概率越高的符号，对应的码字越短；反之，则码字较长。这种方法能够有效减少信息传输过程中的冗余，提高通信效率。
香农编码的实现步骤如下：
1. 确定信源符号及其概率：首先列出所有可能的符号及其对应的概率。
2. 按概率从大到小排序：将符号按照出现概率由高到低进行排列。
3. 构造累积概率表：为每个符号计算其前一个符号的累计概率。
4. 确定码字长度：根据公式 $ l_i = \lceil -\log_2 P_i \rceil $ 确定每个符号的码长。
5. 生成码字：根据累积概率和码长，为每个符号生成对应的二进制码字。
三、实验内容
本次实验所使用的信源符号及其概率如下：
| 符号 | 概率 |
|------|------|
| A| 0.4|
| B| 0.2|
| C| 0.15 |
| D| 0.15 |
| E| 0.1|
根据上述数据，我们依次进行以下步骤：
1. 排序：按概率由高到低排列，顺序为 A, B, C, D, E。
2. 计算累积概率：
- A: 0
- B: 0.4
- C: 0.6
- D: 0.75
- E: 0.9
3. 计算码长：
- A: $ \lceil -\log_2 0.4 \rceil = 2 $
- B: $ \lceil -\log_2 0.2 \rceil = 3 $
- C: $ \lceil -\log_2 0.15 \rceil = 3 $
- D: $ \lceil -\log_2 0.15 \rceil = 3 $
- E: $ \lceil -\log_2 0.1 \rceil = 4 $
4. 生成码字：
- A: 00
- B: 010
- C: 011
- D: 100
- E: 1011
四、结果分析
通过上述步骤得到的香农码如上表所示。我们可以进一步计算平均码长和编码效率：
- 平均码长 $ L = \sum P_i \cdot l_i = 0.4×2 + 0.2×3 + 0.15×3 + 0.15×3 + 0.1×4 = 2.8 $
- 信源熵 $ H = -\sum P_i \log_2 P_i = - (0.4×\log_2 0.4 + 0.2×\log_2 0.2 + 0.15×\log_2 0.15 + 0.15×\log_2 0.15 + 0.1×\log_2 0.1) ≈ 2.25 $
- 编码效率 $ \eta = \frac{H}{L} × 100\% ≈ 80.36\% $
由此可见，香农编码在本例中具有一定的压缩效果，但仍有优化空间，例如使用霍夫曼编码可能会获得更高的效率。
五、实验总结
通过本次实验，我们深入了解了香农编码的基本原理和实现方法，掌握了如何根据信源符号的概率分布构造码字，并计算出相应的平均码长与编码效率。虽然香农编码在理论上具有良好的压缩性能，但在实际应用中，由于其码字长度的选择方式较为固定，有时不如其他更优的编码方式（如霍夫曼编码）高效。因此，在实际系统中，应根据具体需求选择合适的编码方法。
六、参考文献
1. 香农, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal.
2. 谢维信. 《信息论与编码》. 清华大学出版社, 2007年.
3. 李晓峰. 《现代信息论基础》. 电子工业出版社, 2010年.
