熵与信息论

概览

熵与信息论研究物理系统的无序性、信息含量及其与热力学过程的内在联系。从玻尔兹曼对熵的统计诠释到 Shannon 的信息熵，再到 Jaynes 的最大熵原理，本领域揭示了热力学与信息论的深刻统一性，是统计物理、计算物理与量子信息的桥梁。

学科框架

• 热力学熵：克劳修斯熵、第二定律
• 统计熵：玻尔兹曼熵 $S = k \ln \Omega$、吉布斯熵
• 信息熵：Shannon 熵 $H = -\sum p_i \log p_i$
• 熵的统一：热力学熵与信息熵的等价性
• 最大熵原理：在已知约束下推断分布的普适方法
• 相对熵与互信息：分布间差异与变量间依赖
• 算法熵：Kolmogorov 复杂性
• 黑洞熵：Bekenstein-Hawking 熵

核心概念

• Shannon 熵：随机变量不确定性的度量，信息论的核心量
• 玻尔兹曼公式：$S = k \ln \Omega$，熵的统计力学定义
• 最大熵原理：在部分信息已知时，最无偏的推断是使熵最大的分布
• 相对熵（KL 散度）：两个分布差异的度量
• Landauer 原理：擦除一个比特的信息至少耗散 $kT \ln 2$ 的热量

与高中物理的衔接

• 00-热学总览：高中物理介绍了熵增加原理与热力学第三定律（绝对零度不可达），是本学科的入门

大学阶段将这些概念推广到信息论，揭示信息与物理的内在联系。

与其他学科的关联

• 热力学：熵是热力学的核心态函数
• 统计物理：熵的微观诠释来源于统计物理
• 量子力学：von Neumann 熵描述量子态的混合程度
• 相对论：黑洞熵联系了广义相对论、量子论与热力学

参考笔记

• 黑体辐射

---

返回 00-物理竞赛总览 或相关总览