模块一 · 知识与推理的根基 · 第 007 日 / 180
信息论
一个事实到底「值」多少个是/否问题？而忘掉它，在热量上又要付出什么物理代价？
请在 1 到 16 之间选一个整数记在心里。我只需问四个问题就能把它找出来，而你只能回答「是」或「否」。「它是否大于或等于 9？」——这直接把范围砍掉了一半。「在你剩下的那一半里，它是否属于较大的那一半？」——又砍掉一半。再来两刀，无论你想的是哪个数字，我都能准确无误地锁定它，还绰绰有余。请注意刚才发生的事情：一个原本感觉模糊而私密的事实，竟然具有了精确的「大小」。它价值四个问题——不多不少，正是四个比特。
一段知识可以被「称重」——用一个和千克一样具体的单位来度量——这是 20 世纪最奇特也最深远的思想之一。1948 年，贝尔实验室一位骑着独轮车的工程师克劳德·香农（Claude Shannon）发表了一篇论文，这一思想在其中几乎以成熟完整的姿态横空出世。然而，它的尾部还带着一根长长的毒刺：物理学家们直到 20 世纪 60 年代才有所察觉，而实验室里直到 2012 年才真正测量到它——如果信息是一个真实的物理量，那么擦除信息就是一种不可妥协的物理行为，必须以热量的形式支付代价。今天，我们将逐一理解这句话的两个部分。
◆ 当前进度
我们花了六天时间搭起一套认知工具箱；今天我们发现，它其实有自己的「流通货币」。在第 4 日里，我们遇见了「惊奇度」——蒙提·霍尔问题中主持人打开一扇山羊门，那不是噪声，而是信息——以及能兑现为真金白银的 e 值。今天，这一直觉将获得它的度量单位。在第 3 日，布尔逻辑变成了物理开关（源于香农 1938 年的另一篇著名论文）；今天，让「信息」也变得物理化的，也正是他。而在第 1 日中我们认识的渐进信念——置信度，即贝叶斯大脑在最小化弗里斯顿的「自由能」——原来就是在最小化我们在此处定义的量：期望惊奇度。自第一天起就在暗中延续的「信息」线索，终于落到了一个确凿的数字上。请做好准备：它将在第 33 日作为时间之矢再次出现，并在第 83 至 85 日中成为生命本身似乎在抗拒的东西。
模型
比特即减半
在香农之前，「信息」是报纸和电报的代名词——它意味着内容、意义和闲聊。香农的激进之处，在于他把「意义」一把扔掉。对于试图在充满噪声的导线上输送消息的工程师来说，关键不在于消息「说了什么」，而在于它「能说多少」：即它消除了多少不确定性。剥离了意义之后，剩下的就是可以计数的东西。
信息的度量单位是比特（bit）——它是「二进制数字」（binary digit）的缩写，由香农的同事约翰·图基（John Tukey）在 1947 年贝尔实验室的一份备忘录中首次提出，并在香农的论文中被指名致谢。1 比特是单次公平的是/否回答所蕴含的信息量：也就是把一种完全均衡的不确定性一次性消解掉。两个等可能发生的可能性，对应 1 比特。16 种等可能性，对应 4 比特，因为 2⁴ = 16。比特就是「减半」。
但现实中的选择并不总是均等的。该理论的精妙之处在于它如何处理不均匀的概率。香农将概率为 p 的某一特定结果所蕴含的信息量——即惊奇度——定义为：
必然发生的事件（p = 1）带来的惊奇度为零。百万分之一概率的罕见事件则包含约 20 比特的信息。
一旦动手检验，这层定义便豁然开朗。如果你明知一枚硬币两面都是正面：猜中「正面」对你没有任何帮助——p = 1，惊奇度 = −log₂ 1 = 0 比特。对于一枚公平的硬币：p = ½，惊奇度 = −log₂ ½ = 1 比特，这正是教科书式的减半。如果气象预报员在沙漠中说「今天降水概率为 100%」并且说中了，他几乎没有透露任何新信息；而在降雨罕见的地区，同样的话语则承载着实实在在的信息。罕见的结果令人惊奇；惊奇的结果承载信息。对数公式的精妙之处在于它符合直觉，使惊奇度可以「相加」：了解两个独立的事实，其惊奇度会直接求和，正如它们的可能性空间彼此相乘。
熵：平均惊奇度
现在，让我们从单一结果放大到整个信息源——一种语言、一枚骰子或一串连续不断的符号。它的「平均」惊奇度是多少？这个平均值正是这套理论的桂冠——香农熵：
每个结果的惊奇度乘以它发生的概率，再进行加权求和。即每个符号的期望是/否提问次数。
熵是消息不可削减的核心——它是你在采用最优策略下，平均锁定每个符号所需的真实提问次数。一枚公平硬币的熵为 1；一枚公平的八面骰子熵为 3；而在英语中紧随字母「q」之后的字母，其熵几乎为 0（因为它几乎总是「u」，你根本不需要提问）。从精确的意义上讲，它代表着一个信息源真正拥有的选择自由度，或者等价地，代表它为你消除的不确定性程度。同一个量，从两个方向读取。
一个他并未亲口敲定的绝妙名字
香农公式里的 H，在代数形式上与物理学家自 19 世纪 70 年代起用来度量无序的物理量一模一样——那便是「熵」（entropy）。数十年后，迈伦·特里布斯（Myron Tribus）讲述过这样一个故事：香农当时不确定如何命名这个新度量，约翰·冯·诺伊曼（John von Neumann）告诉他应该叫它熵，理由有两个——首先，该公式在统计力学中早已拥有了这个名字；其次，「没人真正知道熵是什么，所以在任何辩论中你都会占尽上风」。这听起来有些过于传奇，未必完全属实（该故事直到 1971 年才首次见诸报端）。但这一巧合所揭示的联系却是真实、深刻且至今仍被争论不休的——它也将是本课程后半部分所有内容得以转动的枢轴。请记住这一点。
使用下方的动态拨盘来调整硬币的公平程度，观察其信息量如何崩塌。
下方的对照表展示了相同的熵变化模式（无动态拨盘）：最大不确定性承载最多信息，而接近确定的事件几乎不承载任何信息。
交互 · 称量硬币
熵之拨盘
通过调节拨盘将硬币从公平转为偏斜，并观察其信息含量的崩溃。曲线代表双结果源的熵 H；柱状图代表每个面的惊奇度。最大信息存在于最大疑问处——公平硬币达到 1 比特的峰值。确定性则不承载任何信息。
一枚公平的硬币：每次投掷都是一个真正的提问，没有任何捷径。要发送 1,000 次投掷结果，你需要 1,000 比特——没有任何压缩空间。
加载信息源
对照表
熵之拨盘
双结果源在两个结果等可能性发生时达到其最大熵。
| 信息源 | P(正面) | 熵 | 解读 |
|---|---|---|---|
| 公平硬币 | 0.50 | 1.00 比特/投掷 | 每次投掷都完整回答了一个是/否问题。 |
| 偏斜硬币 | 0.88 | 0.53 比特/投掷 | 高概率结果的编码成本低；罕见结果的编码成本高。 |
| 接近确定源 | 0.99 | 0.08 比特/投掷 | 结果几乎预先已知，因此带来的新信息极少。 |
| 「q」后紧跟「u」 | 0.95 | 0.29 比特/符号 | 由于许多符号在上下文中是高度可预测的，语言因此可以被压缩。 |
历史意义
构筑现代世界的定理
仅仅给信息下一个定义，充其量只是一项不错的理论记账工作。让香农 1948 年那篇起初低调命名为《通信的数学理论》（A Mathematical Theory of Communication，后被誉为「信息时代大宪章」）的论文成为奠基石的，是一个关于「噪声」的惊人结论。
任何现实中的信道都会损坏其传输的消息：线路上的杂音、光盘上的划痕，或是深空中翻转比特的宇宙射线。在 1948 年，人们普遍认为噪声会带来残酷的权衡——为了更可靠地通信，你必须放慢速度，而完美的可靠性意味着速度必须滑向零。香农证明这一传统直觉是错的。他指出，每个信道都有一个固定的信道容量 C，这是一个以每秒比特数为单位的天花板。只要传输速率低于 C，你就可以将错误率无限逼近于零——这不需要通过提高音量或放慢速度来实现，而是要通过巧妙的编码，给消息包裹恰到好处的数学冗余，从而让接收端能够完美重建它。而一旦高于 C，可靠的通信在物理上就变得完全不可能。
这里有一堵被称为信道容量的硬墙。在它之下，近乎完美的通信永远可以实现。唯一的悬念在于我们是否足够聪明，能找到那套编码。
真正的关键在于：香农证明了这些优秀编码确实存在，但并未指明如何构建它们。他给工程师们留下了一张只标了 X、却没画出路线的藏宝图。追寻这个 X 成为了应用数学界最宏大的探索之一——从保护 CD、二维码以及火星数据回传的里德-所罗门码（Reed–Solomon codes），到 Turbo 码（1993 年），再到如今在 Wi-Fi 和 5G 芯片中静默运行的低密度奇偶校验码（LDPC）。每一步都更逼近香农的极限之墙。每当你在不稳定的网络连接下流畅观看电影而没有出现任何花屏时，你都在享受这个六十年前的定理所兑现的红利。给更常见的符号分配更短的编码——正如摩尔斯电码中为字母「E」分配的单个点，或是霍夫曼编码（1952 年）背后的逻辑——这背后运行着相同的原则：将比特预算花在惊奇度最高的地方。
论辩
信息是物理的吗？
到目前为止，信息听起来像纯粹的数学——抽象、无形，是概率和对数的产物。一个比特看起来并不比数字 7 更具物理实体。长期以来，学术界也确实这样认为。然而，一个已经存在了一个多世纪的悖论逼迫人们直面这个问题，而最终的答案是：不，比特并非没有重量——忘记一个比特，会给房间增温。
闸门处的妖
1867 年，詹姆斯·克拉克·麦克斯韦（James Clerk Maxwell）构想出了一个捣蛋鬼。想象一个被隔断墙分成两半的充气箱子，墙上有一个微型的通道闸门，由一个微小的智能实体——后来被命名为麦克斯韦妖（Maxwell's demon）——把守着。妖观察着每一个分子。当一个运动快的分子从右侧逼近时，妖打开闸门让它穿行到左侧；当一个运动慢的分子从左侧逼近时，妖让它穿过到右侧。它在分子上不做任何物理功——仅仅是在恰当的时刻开启和关闭一个无摩擦的闸门。慢慢地、耐心地，它把高温分子与低温分子区分开来，在均匀的气体中制造出了温差。
这在物理上应该是不可能的。从热平衡状态中无偿制造出秩序，恰恰违背了热力学第二定律的禁令——正是这条定律规定：热咖啡会变凉、打破的鸡蛋无法复原，熵也永远不会自发下降。然而，这个妖似乎仅凭知道哪些分子是哪种的「信息」，就打破了物理学中最核心的记账规则。一百年来，这一难题一直困扰着物理学界。1929 年，利奥·西拉德（Leó Szilárd）将这一场景简化为箱子中的单个分子，并证明妖可以从「分子在左侧还是右侧」这 1 比特的知识中，提取出恰好为 kT·ln2 的净功。物理学的指向开始令人感到不安：信息似乎可以被「转化为能量」。
反转：关键不在于获取，而在于遗忘
这个谜题的解决是 20 世纪物理学中最漂亮的推理之一，它由建造计算机的那群人完成。1961 年，IBM 的罗尔夫·兰道尔（Rolf Landauer）提出了一个前人从未想过的问题：计算「必然」是耗散能量的吗？摆弄比特的操作是否总是要消耗能量？他给出了令人吃惊的答案：并非如此——原则上，几乎每一个逻辑步骤都能以任意接近零的能量损耗来完成，只要操作进行得足够缓慢和轻柔——几乎如此。唯一的例外，是「擦除」。
在室温下约为 2.8 × 10⁻²¹ 焦耳（2.8 仄焦耳，即 2.8 zJ ≈ 0.018 eV）。兰道尔原理，1961 年。
为什么偏偏是擦除？因为擦除是唯一无法逆向运行的逻辑操作。如果我告诉你某个比特现在是「0」，你无法得知它在片刻之前是「0」还是「1」——那段历史已经永久消逝，两种可能的过去被强行压缩进了一个单一的现在。逻辑不可逆操作会湮灭物理区分，而在物理设备中，这种区分由物理状态来承载。将两个状态强行合并为一个，那个「失去」的可能性必须有个去处；它会以至少 kT·ln2 的最小热量份额流向周围的世界。兰道尔的口号自此成为物理学的战斗口号：「信息是物理的。」
1982 年，他在 IBM 的同事查尔斯·贝内特（Charles Bennett）借由这一洞见彻底破解了麦克斯韦妖的陷阱。贝内特证明，妖的失误绝不在于「测量」分子——测量过程原则上是可以无损且可逆地完成的。妖的致命问题在于它拥有「记忆」，而记忆的空间是有限的。为了能无休止地进行分类，它必须不断擦除旧的观测记录，为新观测腾出空间。每一次擦除，都会以热量的形式向环境释放能量，而释放出的熵恰好抵消了妖此前从气体中消除的熵。这笔账目连一焦耳都不会算错。热力学第二定律从未被推翻；妖只是在一个此前无人注意的账本上不断记账。这个捣蛋鬼的聪明，代价并不在于思考，而在于遗忘。
下方的动态演示模拟了引发热量计上升的不可逆重置过程。
下方的算例按静态顺序展示了相同的擦除循环：保护比特、消除其物理区分、强行归零，并支付热量代价。
交互 · 支付过路费
兰道尔擦除机
单个比特存储在双势阱地貌中的小球上：左侧 = 0，右侧 = 1。要将其重置为 0，无论它初始在何处，你都必须降下中间的壁障、倾斜整个地貌并将其重新捕获在左侧——从而将两种可能的过去压缩为一种。单步执行这一循环，观察热量表如何攀升到兰道尔底限。然后可以尝试那个「免费」的移动操作。
逻辑状态
比特 = 1
耗散的热量
0.0 zJ
「阶段 0 — 静止的比特」小球停在右侧的势阱中：此存储状态为 1。两个势阱，代表两个可能的值，它们之间的壁障保持着比特的稳定性。点击「下一步」开始将其擦除归零。
算例
兰道尔擦除机
| 步骤 | 逻辑状态 | 物理动作 | 热力学读数 |
|---|---|---|---|
| 0 | 比特可为 0 或 1 | 屏障分隔了两个稳定的势阱。 | 逻辑本身没有强制产生任何热量开销。 |
| 1 | 旧值不再受保护 | 降下势阱之间的壁障。 | 原则上这可以通过可逆操作完成。 |
| 2 | 强行归零 | 倾斜地貌，使所有可能的初始状态都滑向左侧。 | 热力学熵被输出到周围环境中。 |
| 3 | 比特读数为 0 | 再次升起壁障。 | 两种可能的过去压缩为了一个现在。 |
| 4 | 1 比特已擦除 | 重置完成。 | 至少 kT ln 2 的热量（在室温下约为 2.8 zJ）已经被耗散。 |
前沿 · 2026 年
从思想实验到实验台上的仄焦耳
五十年来，兰道尔原理一直是一套过于纯粹的理论，甚至带有一点哲学意味。它涉及的数字小得荒谬——几个仄焦耳（zeptojoule，即 10⁻²¹ 焦耳），极易消散在任何实际设备的电子热噪声海洋中。在过去，想要测量它看起来毫无希望。然而自 2012 年开始，一系列令人惊叹的实验终于将这一原理拉出了纯理论辩论的泥潭，在各种截然不同的物理系统上得到了精确验证。这正是前沿校准器发挥威力的地方——而且不同寻常的是，那些听起来最大胆的主张竟然经住了检验。
五种方式测出的物理极限
第一个直接验证来自Bérut 等人（《自然》，2012 年 3 月 8 日）：将单个微米级玻璃微珠捕获在双势阱光阱中（构成一个物理上的 1 比特存储器），对其进行反复擦除。随着擦除操作进行得越来越缓慢，其释放的平均热量最终收敛于 kT·ln2 的底限。两年后，Jun、Gavrilov 与 Bechhoefer（贝希霍费尔）（《物理评论快报》，2014 年 11 月 4 日）在反馈阱中进一步提高了测量精度，证实了将可达状态数减半的物理代价至少为 kT·ln2。正如波动定理（第 85 日的预告内容）所预测的那样，虽然单个循环可能会涨落到该极限「之下」，但其「平均值」依然坚不可摧。
让这一发现成为已确立结论的，是验证手段的极其多样化。利用单个电子在箱子中运行的西拉德引擎（Koski et al.，《美国国家科学院院刊》，2014 年）。纳米级磁体阵列（最接近真实数字存储器比特的载体）将物理成本锚定在「300 K 时约为 2.8 zJ」附近，实测值为 (4.2 ± 0.9) zJ（Hong, Lambson, Dhuey & Bokor，《科学进展》，2016 年 3 月 11 日）。以及单个被捕获的钙离子将该原理成功扩展到了完全的量子领域（Yan et al.，《物理评论快报》，2018 年 5 月 21 日）。玻璃珠、电子、磁体、原子——物理介质千差万别，其物理底限却完全一致。这正是真正的自然定律该有的样子。
反向运行妖：将信息作为燃料
如果擦除比特「消耗」能量，那么测量比特是否能「赚取」能量？西拉德在纸面上给出了肯定的回答，而现在的实验室则将其变为了现实。外谷（Toyabe）等人（《自然·物理学》，2010 年）建造了第一台真正的信息引擎：一个攀爬台阶的布朗粒子，仅凭对其位置的精确测量和反馈棘轮，就能克服重力向上攀爬——从而将纯粹的信息转化为机械功，并在此过程中验证了推广形式的杰辛斯基等式（Jarzynski equality）。科斯基（Koski）的单电子西拉德引擎（2014–2015 年）使用单个电子实现了这一点，甚至构建了一台「信息动力制冷机」。最近，贝希霍费尔实验室（Saha et al.，《美国国家科学院院刊》，2021 年 5 月 18 日）优化了一种胶体信息棘轮，据报告其输出功率可与生命体内部的分子机器相媲美——这是一个非常引人瞩目的成果。虽然媒体通稿冠之以「世界上最快的信息引擎」，但这更像是市场话术，而非论文中的学术断言；其背后的物理本身仍然扎实。
信息的新物理学——以及它对你的 GPU 意味着什么
如今，所有这些成果都融入了一个被称为随机热力学的成熟框架中，该框架将经典的热力学定律扩展到了起伏剧烈、由涨落主导的微观系统。其核心支柱是一对精确的结果——杰辛斯基等式（1997 年）和克鲁克斯涨落定理（Crooks fluctuation theorem，1999 年），它们允许将热力学第二定律写为带有修正项的「等式」，而该修正项正是信息（准确地说是互信息）。帕龙多、霍洛维茨与佐川（Parrondo, Horowitz & Sagawa）发表的权威综述直截了当地命名为《信息热力学》（《自然·物理学》，2015 年）：在物理学的账本上，信息与功、热量处于完全平等的地位。2024 年，大卫·沃尔珀特（David H. Wolpert）及其在圣菲研究所的合作者将这一理论扩展到了现实中有限时间内的计算过程（《物理评论 X》，2024 年 5 月 13 日），量化了「失配成本」——即任何现实中的计算机运行所必须燃烧的、超出兰道尔底限的额外热量。
这自然引出了隐藏在每个数据中心背后的终极疑问。我们的机器距离这个物理底限还有多远？答案是：非常遥远。单个晶体管开关在翻转时耗散的能量在 10⁻¹⁸ 焦耳数量级——在器件层面上，这比兰道尔底限高出数百到数千倍；而一旦把内存读写、冷却散热和电源转换考虑在内，则高出数百万倍。我们距离那堵物理极限之墙还差得远。这才是坦诚的事实框架：目前大规模 AI 的能源胃口——2024 年数据中心消耗了全球约 1.5% 的电力，并有望在 2030 年左右翻倍（国际能源署《能源与 AI》，2025 年 4 月）——暂时只是一个工程与经济问题，而非基础物理学问题。在热力学定律取代财务预算成为最终瓶颈之前，我们还有好几个数量级的提升空间。因此，「AI 即将撞上兰道尔极限」的头条新闻只是一种炒作——但这个物理底限确实存在，并且随着硬件每代更新而日益逼近。这也是为什么可逆计算与神经形态计算重新变得火热的原因。
示意图 · 数量级对比
兰道尔之梯 —— 我们距离底限还有多远
每次比特操作所耗散的能量，采用对数刻度（每上升一档为原来的 10 倍）。前述实验室验证已无限贴近底限；你口袋里的芯片则比底限高出上千倍；而完整系统下的开销则更为高昂。这其中的差距，正是我们未来可以优化的空间。
实验室里的测试装置并不比你用的笔记本电脑「工程设计得更好」——它们之所以耗散极低，是因为它们被控制得以难以想象的极慢速度运行（每次仅操作一个比特），以求逼近热力学极限。速度本身是要消耗能量的：只有在拥有无限耐心的极限情况下，才能触及那个底限。现实中的计算则需要用耐心去交换每秒数十亿次的操作，并因此必须以热量的形式支付代价。
概念的过度延伸
「信息是物理的」这一主张如今已确立。但人们很容易忍不住抹去限制词，转而宣称信息是「根本性的」——即现实在本质上是由比特构成的。物理学家约翰·阿奇博尔德·惠勒（John Archibald Wheeler）在 1989 年为此提出了著名的口号：「万物源于比特」（it from bit），即推测每一个粒子和场的核心存在都派生自「是/否」的回答，派生自信息。这是一个极具启发性又充满魅力的思想——但它属于形而上学的范畴，而非经受过检验的科学结论。
批评者指出了显而易见的循环论证：比特必须被编码在「某种东西」上，因此信息不可能成为堆栈最底部的乌龟。请把它妥善存放在「引人深思的假说」抽屉里，并贴上清晰的标签。
再往前走就到了真正的边缘地带。梅尔文·沃普森（Melvin Vopson）提出了「质量-能量-信息等价性」，声称信息具有静止质量；他的「信息动力学第二定律」声称信息熵必须随时间「减少」；而他 2025 年一篇试图从信息中推导引力的论文，则被物理学家萨宾·霍森菲尔德（Sabine Hossenfelder）直接判定为「毫无道理」。当一个前沿足够火热时，它必然会滋生出边缘学术——而学会利用我们贯穿全书的前沿校准器将这两者区分开来，正是本课程真正想要培养的核心技能。（根据教学大纲的常设规则：任何引用未来日期的预印本都被视为伪造，一律直接弃用。）
未决问题
真正悬而未决的谜题
- 「香农熵与热力学熵是同一个东西，还只是外表相似？」两者的公式完全相同；这究竟是一种深刻的物理同一性（如杰恩斯的最大熵学说），还是一种精妙的类比，目前仍争论不休。这个问题将在第 33 日和第 83 至 85 日重新开启，届时其赌注将升高为「生命是什么？」。
- 「那个妖真的能被彻底驱逐吗？」少数物理学家（如 Earman 和 Norton）指出，标准的驱魔论证存在微妙的循环论证——利用第二定律推导擦除成本，再利用该成本来捍卫第二定律。2016 年一项备受争议的研究甚至声称实现了一个运行开销低于 kT·ln2 的逻辑不可逆门。在实验支持下的主流学界虽然持否定态度，但其物理根源尚未完全闭合。
- 「现实中的计算究竟能降到多低？」可逆计算承诺能几乎完全避开擦除成本。但至今还没有人建造出真正实用的可逆计算机。兰道尔底限究竟是一个可以触及的工程目标，还是永远只是一件科学珍玩？
- 「在人工智能模块中等待我们的问题：」当一个模型「知道」某些事物时，这种知识最终是否只是为了降低损失函数而排列的比特？而这些比特背后的热力学成本，是否暗示了「思考」到底需要付出什么？（第 138 至 145 日。）
◆ 今日精要三句话
- 核心思想
- 信息是一个可测量的量——即以期望惊奇度 H = −Σ p log₂ p 定义的比特——而且它不是抽象的，而是「物理的」：擦除 1 比特信息必须耗散至少 kT·ln2 的热量（兰道尔原理），这正是麦克斯韦妖被驱逐、热力学第二定律得以捍卫的底层机制。
- 最佳比喻
- 一个事实的大小等价于它所值的是/否提问次数；记忆就像双势阱中的小球，将物理存储器重置为标准状态——即把两种可能的过去压缩为一种现在——正是向房间释放热量的物理根源。
- 核心争议
- 香农熵与热力学熵究竟是同一个实体还是两个实体；麦克斯韦妖是否被真正战胜；以及「信息是根本性的」（惠勒的「万物源于比特」）这一宏大断言在多大程度上属于过度炒作。
今日线索 › 信息（终于迎来了它坚实的单位——比特、惊奇度、熵） · 能量（兰道尔的 kT·ln2 把比特与热量焊在一起） · 计算（擦除信息的物理成本——妖不过是一只内存有限的存储装置）——以及涌现的初显（一条在玻璃、电子、磁体、原子间普适的物理规律），并为第 83 至 85 日关于进化与生命的探讨埋下伏笔。
明日预告 → 第 08 日
复杂性与涌现
今天，一个单一的数字就捕捉了整个信息源。明天，我们将探究当简单的部件遵循简单的规则时，是如何幻化出任何个体都不具备的集体行为的——如同一体般翻飞起伏的椋鸟群、市场，亦或是人类的心智。我们将区分「弱」涌现（令人惊奇但可推导）与「强」涌现（真正不可还原？），了解「度量」复杂性的最新尝试，并将今日磨砺出的前沿校准器应用到组装理论（Assembly Theory）这一在 2020 年代既引来兴奋赞誉又遭遇猛烈炮轰的学说中。带上你的比特；复杂性在某种程度上正是无法被压缩的信息。
参考文献
来源与延伸阅读
- Shannon, C. E. (1948). "A Mathematical Theory of Communication." Bell System Technical Journal 27: 379–423 (July) & 623–656 (October). doi.org/10.1002/j.1538-7305.1948.tb01338.x
- Shannon, C. E. (1938). "A Symbolic Analysis of Relay and Switching Circuits." Trans. AIEE 57(12): 713–723 (MIT master's thesis, 1937).
- Soni, J. & Goodman, R. (2017). A Mind at Play: How Claude Shannon Invented the Information Age. Simon & Schuster.
- Landauer, R. (1961). "Irreversibility and Heat Generation in the Computing Process." IBM Journal of Research and Development 5(3): 183–191. doi.org/10.1147/rd.53.0183
- Bennett, C. H. (1982). "The Thermodynamics of Computation — a Review." International Journal of Theoretical Physics 21(12): 905–940. doi.org/10.1007/BF02084158
- Szilárd, L. (1929). "Über die Entropieverminderung in einem thermodynamischen System bei Eingriffen intelligenter Wesen." Zeitschrift für Physik 53: 840–856. doi.org/10.1007/BF01341281
- Bérut, A., Arakelyan, A., Petrosyan, A., Ciliberto, S., Dillenschneider, R. & Lutz, E. (2012). "Experimental verification of Landauer's principle linking information and thermodynamics." Nature 483: 187–189 (8 March 2012). doi.org/10.1038/nature10872
- Jun, Y., Gavrilov, M. & Bechhoefer, J. (2014). "High-Precision Test of Landauer's Principle in a Feedback Trap." Physical Review Letters 113: 190601 (4 Nov 2014). doi.org/10.1103/PhysRevLett.113.190601
- Hong, J., Lambson, B., Dhuey, S. & Bokor, J. (2016). "Experimental test of Landauer's principle in single-bit operations on nanomagnetic memory bits." Science Advances 2(3): e1501492 (11 March 2016). doi.org/10.1126/sciadv.1501492
- Yan, L. L. et al. (2018). "Single-Atom Demonstration of the Quantum Landauer Principle." Physical Review Letters 120: 210601 (21 May 2018). link.aps.org/doi/10.1103/PhysRevLett.120.210601
- Toyabe, S., Sagawa, T., Ueda, M., Muneyuki, E. & Sano, M. (2010). "Experimental demonstration of information-to-energy conversion and validation of the generalized Jarzynski equality." Nature Physics 6: 988–992. doi.org/10.1038/nphys1821
- Koski, J. V., Maisi, V. F., Pekola, J. P. & Averin, D. V. (2014). "Experimental realization of a Szilard engine with a single electron." PNAS 111(38): 13786–13789. doi.org/10.1073/pnas.1406966111 另见 Koski et al., PRL 113: 030601 (2014) 以及 PRL 115: 260602 (2015).
- Saha, T. K., Lucero, J. N. E., Ehrich, J., Sivak, D. A. & Bechhoefer, J. (2021). "Maximizing power and velocity of an information engine." PNAS 118(20): e2023356118 (18 May 2021). doi.org/10.1073/pnas.2023356118
- Jarzynski, C. (1997). "Nonequilibrium Equality for Free Energy Differences." Physical Review Letters 78: 2690. doi.org/10.1103/PhysRevLett.78.2690 · Crooks, G. E. (1999). "Entropy production fluctuation theorem and the nonequilibrium work relation for free energy differences." Physical Review E 60: 2721. doi.org/10.1103/PhysRevE.60.2721
- Parrondo, J. M. R., Horowitz, J. M. & Sagawa, T. (2015). "Thermodynamics of information." Nature Physics 11: 131–139. doi.org/10.1038/nphys3230
- Manzano, G., Kardeş, G., Roldán, É. & Wolpert, D. H. (2024). "Thermodynamics of Computations with Absolute Irreversibility, Unidirectional Transitions, and Stochastic Computation Times." Physical Review X 14: 021026 (13 May 2024). doi.org/10.1103/PhysRevX.14.021026
- International Energy Agency (2025). Energy and AI. (April 2025). iea.org/reports/energy-and-ai
- Wheeler, J. A. (1990). "Information, Physics, Quantum: The Search for Links." In Complexity, Entropy, and the Physics of Information.
- Vopson, M. M. (2023). "The second law of infodynamics and its implications for the simulated universe hypothesis." AIP Advances 13: 105308. doi.org/10.1063/5.0173278 另见 Vopson (2025), "Is gravity evidence of a computational universe?", AIP Advances 15: 045035, doi.org/10.1063/5.0264945
第 07 日完 · 尚有 173 次深入