先把话说白：越难猜到，信息越多
有人告诉你「明天太阳会升起」，你不会觉得学到了什么。有人告诉你「明天你家楼下那条街要封路」，你会立刻改计划。两句话字数差不多，带来的东西完全不同。
差别在于你事先有多难猜到。太阳升起，你本来就有十足把握。封路，你原本想都没想过。一个事件越出乎意料，它一旦发生，带给你的信息就越多。
1948 年，Claude E. Shannon 在《Bell System Technical Journal》上发表《A Mathematical Theory of Communication》，把这句大白话变成了公式。
先说自信息。自信息就是单独一件事发生时带来多少信息。一个事件 x 的自信息写作 I(x) = -log₂P(x)。这里的 P(x) 是这件事发生的概率。概率越小，这个数越大。
再说熵。熵不看单独一件事，看的是一整个随机变量平均下来有多难猜。这个词听着玄，意思很朴素：一件事你事先有多不确定。
熵就是自信息的平均值——把每件事带来的信息量，按这件事自己发生的概率加权平均。写出来就是：
H(X) = − Σx p(x) log2 p(x)
式子里每一项都是「这件事的信息量 × 它多常发生」，全加起来，就是平均一次能拿到多少。这也是自信息和熵的关系：前者说的是某一次结果，后者说的是整个分布平均下来的样子。
要留心：熵度量的是不确定性，不是「混乱」，不是「意义」，也不是「知识」。一个均匀随机的比特源熵最大，对一个具体的科学问题却没有任何用处。
Shannon 理论有力量，恰恰因为它故意不管消息是什么意思。这一步是他主动做的选择，值得多说两句。
一个消息是什么意思，取决于谁在听、在什么处境里听、听完打算做什么。同样一句「到了」，对着等电话的人和对着等货的人，不是一回事。工程上没有办法先把这些都说清楚，再来谈怎么传。于是 Shannon 把「这句话什么意思」从工程问题里暂时拿开，只研究一件事：在所有可能被发出的消息里，究竟选中了哪一条，这件事有多难猜。
意义一拿开，剩下的全都变得可算：不确定性有多大，编码能压到多短，有噪声的时候怎样还能可靠地传过去，一条信道最多能承载多少。
也正因为拿开了意义，这套数学才不挑内容。文字、电报、声音、图像、数字通信，表面上毫不相干，骨子里都是「从一堆可能里选中一条」。选择的结构一样，公式就通用。反过来说，当初若非要先把「意义」定义清楚才肯往下走，信息论多半会被绑死在某一种媒介上，走不出电报房。
资料：Shannon (1948) Part I · Shannon (1948) Part II · MIT 6.441 — Information Measures
一次观察值多少：互信息
真正贴近「认识世界」的那个量，叫互信息。互信息回答的问题很具体：我看了一眼，这一眼平均帮我减少了多少不确定性。
设 X 是世界的真实状态，Y 是我们看到的观测。那么：
I(X;Y) = H(X) − H(X|Y)
左边是这次观察的价值。右边前一项是看之前的不确定性，后一项是看完之后剩下的不确定性。两者一减，就是这次观察真正拿掉的那部分。它也可以理解成 X 和 Y 在统计上的依赖程度，两者越相关，一方就越能说明另一方。
Shannon 的通信模型里还明确有信道和噪声。信道就是消息必须走的那段路，噪声就是路上混进来的、和消息无关的东西。
现实里的感官和仪器，同样有这几样限制。有噪声：光线暗时看到的颗粒，仪器读数末位的抖动。有带宽：能通过的差异就那么多，超出的部分根本进不来，人看不到所有波长，也听不到所有频率。有灵敏度上限：太弱的信号会被淹掉，等于没发生过。
所以在形式上，可以把「世界—感官—大脑」看成一条带噪声的观测通道，用同一套量去谈它一次能带进来多少关于世界的东西。科学仪器的意义也正在这里：把人本来感觉不到的变量，变成可记录、可显示、可比较的信号。仪器没有让我们跳出通道，它只是把通道拓宽了。
但这只是结构上的类比，别当成结论。通信模型里的接收端是被动的，来什么收什么。大脑不是：它有记忆，会主动决定往哪儿看，会行动，会学习，会因为这一次看到的东西改变下一次怎么看。类比只到「有通道、有噪声、有上限」为止，再往前推就不成立了。
资料：MIT 6.441 — Mutual Information · Shannon (1948) Part I · NCBI — Phototransduction
想不出新东西：数据处理不等式
接下来是这一节最该记住的一条。
假设三个变量排成一串：X → Y → Z。意思是 Z 只能通过 Y 间接接触 X，它和原始世界之间没有别的通道。数学上管这种结构叫 Markov chain，意思就是一环只挨着一环。那么：
I(X;Z) ≤ I(X;Y)
这叫数据处理不等式。翻成人话：对已经拿到手的数据再怎么加工，也变不出关于原始世界的新信息。
你可以去噪，可以重新编码，可以把和任务相关的结构突出出来，让数据更好用。但如果只算当前这条输入通道里关于 X 的新信息，它有一个天花板，就是原始观测本身。加工能重新整理已有的东西，生不出没进来过的东西。
那为什么有人处理同一份数据就能看出更多？因为他不是只有这份数据。把真实世界状态记作 X，感官信号记作 Y，从信号算出来的表示记作 Z，更完整的写法是 Z = f(Y,M)。多出来的那个 M，是过去的记忆。额外的那点「聪明」来自过去的经验，不是从当前这批数据里凭空产生的。
这给「认识的边界」提供了一个比抽象怀疑论具体得多的说法。一个系统能知道什么，不只取决于它推理有多强，还取决于它能拿到什么观测，这些观测噪声多大，分辨率多高，有没有根本分不开的状态。如果两个世界状态在所有能拿到的观察上完全一样，光靠这些观察就永远分不开它们。
所以科学进步不只是「想得更聪明」。它很大一部分是设计新的实验和新的仪器，让原本分不开的假设产生不同的可观测后果。用公式说，就是不断重新设计 P(Y|X)，也就是「世界处在某个状态时，我们能观察到什么」这条通道，让世界向我们暴露更多可区分的结构。
资料：MIT 6.441 — Data Processing Theorem · MIT 6.441 — Mutual Information
「信息」这个词，至少有五种意思
一旦「信息」这个词被带进哲学、物理学、生命科学和 AI，最容易出的错，就是把几种完全不同的定义混成一个词用。它们各自回答不同的问题，谁也替代不了谁。
| 说法 | 它管什么 |
|---|---|
| Shannon 信息 | 概率分布与不确定性 |
| Fisher 信息 | 观测分布对一个未知参数的变化有多敏感，与统计估计精度相关 |
| 算法信息（Kolmogorov complexity） | 描述一个对象所需要的最短程序有多长 |
| 语义信息 | 内容、意义和真假 |
| 量子信息 | 以量子态、纠缠、不可克隆等量子结构为基础 |
把这五种各自问的问题说白一点，就更不容易混。
Shannon 信息问的是：这件事有多难猜。它只认概率分布，不认内容。
Fisher 信息问的是：这批观测对某个未知的量敏不敏感。如果那个量稍微变一点，观测分布就明显不一样，数据里关于它的线索就多，估计得出来的值也更准；如果那个量变了观测几乎没动静，测多少次也定不下来。它连着的是估计精度，跟消息多长没关系。
算法信息问的是：把这个对象说清楚，最短要多长。它不看概率，看描述长度。有规律的东西可以用很短的一段程序生成；随机字符串讲不短，只能照抄一遍，所以在这把尺子上它复杂度很高。
语义信息问的是：这句话说的是什么，以及是不是真的。这正是 Shannon 那一套不管的部分。一条消息可以是假的，却因为出人意料而携带很大的 Shannon 信息量。真假不在那个公式里。
量子信息问的是：当承载信息的是量子态，规则会变成什么样。量子态可以编码信息，纠缠给出经典系统没有的相关结构，不可克隆定理限制了未知量子态能怎么复制。它不是前面几种换个说法，是另一套底层规则。
它们之间有数学和概念上的联系，但不能互换。一个均匀随机的字符源 Shannon 熵最大，它产生的串算法复杂度也高，却没有任何人类语义。一句很短的「实验装置泄漏」，在字符层面的 Shannon 信息量未必高，在具体情境里的语义价值和行动价值却可能巨大。反过来，一个语义丰富的故事，也不等于它携带了关于真实世界的可靠知识。
分清楚有个直接好处：它能防止把「熵增加」误解成「意义减少」，防止把「计算复杂度」误解成「知识深度」，也防止把「量子信息」当成一种神秘实体。一个理论可不可靠，首先看它在定义层面有没有保持一致。
数据是可记录的状态；信息是状态差异与统计关联；信念是认知主体对命题的态度；知识则要求更强的真理与正当化条件。
资料：SEP — Information · NIST — Quantum Information Science · MIT 6.441 讲义
这对 ALITA 意味着什么
数据处理不等式说的，正是一个智能体想更懂你时会撞上的那堵墙。想更懂你，靠的不是把同一段对话反复咀嚼。对已有的数据再怎么加工，也变不出关于你的新信息。
能靠的只有两样。一是持续、真实地拿到关于你的新观察。二是把过去积累下来的经验带进当前这一次判断。那个 M，就是记忆。
这也是为什么 ALITA 把记忆交还给用户自己：记录留在用户自己的机器上，身份由用户自己生成。记忆留在别人的系统里，人换个地方就带不走，带不走就等于每次从零开始。
还有一层是代价。信息最终要变成行动，行动要花真实的时间、力气和钱。信息不实，动作就错，错掉的那部分是真的浪费。所以让信息的来源可被追溯与核对、让一份记录在事后仍然可以被核对，不是道德口号，是省下真实的代价。
资料：SEP — Social Epistemology · National Academies — Reproducibility and Replicability in Science