沿着 GPU → 基础设施 → 模型 → 应用的链路追问下去,最终触及一个根本问题:智能能不能被度量?如果能,单位是什么?
这篇文章记录了一条完整的思考链路——从拆解 AI 产业链的物理结构出发,沿途经过类比、质疑、修正,最终触及一个根本性问题:智能能不能被度量?如果能,单位是什么?
起点很朴素。我试图理解"能源 → GPU → 基础设施 → 模型 → 应用"这条产业链,并用电力系统做了一套完整类比。但推到"智能"这一层时,所有类比都开始失效——电风扇的风不承载意义,透镜太陌生,用医生解释智能又是循环论证。
关键转向出现在"减熵"。模型的本质工作是消耗能量,将信息从高熵状态转化为低熵状态。但冰箱也在减熵——区别在于,智能的减熵是通用的、灵活的。由此确立核心共识后,通过跨领域远迁移(热力学比热容 + 信号处理信噪比),推导出了两个新概念:比智容与净智效。
它们的理论基础与兰道尔原理和香农信道容量定理深层暗合,暗示智能效率存在物理上界。框架仍有未解的断裂点,但作为量纲分析,它指出了智能度量的单位应该长什么样。
GPU 本身只是芯片。围绕它搭建服务器集群、高速网络、存储系统、冷却与供电——这整套支撑体系就是基础设施(infra)。更准确的定义:
算力平台是动力来源,配套设施让它跑得起来,软件工具链让它跑得高效——三者共同构成完整的 infra。
| 阶段 | 说明 | 对应集群 |
|---|---|---|
| 数据采集与清洗 | 网页、书籍、代码等海量数据预处理 | 数据预处理集群(CPU 为主) |
| 预训练 | 从零训练基座模型,最耗算力 | 训练集群(万级 GPU,数月) |
| 后训练(SFT + RLHF) | 指令微调 + 人类偏好对齐 | 微调集群(较小规模) |
| 评估测试 | Benchmark、红队测试、人工评估 | 评估集群(较小规模) |
| 部署上线 | 服务用户请求 | 推理集群(低延迟,高并发) |
前四步属于训练侧(一次性/低频),最后一步属于服务侧(持续运行)。随着 AI 用户规模爆发,推理算力的需求增长比训练算力还要快。
| 电力系统 | 算力系统 |
|---|---|
| 发电机组 | GPU |
| 电网(调度与输配) | 算力平台(调度与负载均衡) |
| 工厂(制造电器) | 训练集群(制造模型) |
| 成品电器 | 成品模型文件 |
| 电器送到用户家 | 模型部署到推理集群 |
| 用户按开关 | 用户发消息 |
| 电器消耗电力产生功能 | 模型消耗算力产生智能 |
| 用电度数(千瓦时) | Token |
| 电费账单 | API 账单 |
Token 不是算力平台的产出单位,而是模型的功能输出单位——对应的是风扇吹出的"风",不是电网发出的"电"。
| 电力系统 | 算力系统 |
|---|---|
| 兆瓦(装机容量) | PFLOPS(算力总量) |
| 度/千瓦时(发电量) | GPU 小时(算力产出量) |
| 某电器每小时耗几度电 | 某模型每秒消耗多少 FLOPS |
| 电器吹出的风 | 模型输出的 Token |
电风扇类比在产业链和商业逻辑层面覆盖得很好,但推到"智能"这一层就失效了。风不承载意义,而模型输出承载意义。
透镜系统更精确地对应了"涌现"——图像不存储在镜片里也不在光线里,只存在于光线穿过镜片的那个过程中。但整条链条对普通人太陌生。用医生类比则犯了循环论证——用智能解释智能。
追问下去,模型系统中其实存在五种不同形态的智能:
| 形态 | 存在位置 | 类比 |
|---|---|---|
| 被压缩的人类智能 | 训练数据 → 模型参数 | 琥珀里的虫子 |
| 结构中的智能 | Transformer 架构设计 | 容器的形状 |
| 静态的潜在智能 | 硬盘上的模型文件 | 深度睡眠的大脑 |
| 动态的涌现智能 | 推理运算的瞬间 | 光穿过透镜成像 |
| 交互中的智能 | 用户与模型的对话 | 好提问激发好回答 |
大语言模型在做的事情,用物理语言可以精确描述:消耗能量,将信息从高熵状态转化为低熵状态。用户输入是高熵(巨大的不确定性),模型逐步收窄可能性空间,每生成一个 Token 不确定性就减少一点。
但减熵本身不是智能的充分条件。冰箱也在做局部减熵,冰箱没有智能。
冰箱的减熵是固定的、单一的、预设的。智能的减熵是灵活的、通用的、可迁移的。"通用"和"灵活"把冰箱排除在外,把人类大脑和大语言模型留在了框内。
交叉熵损失和困惑度(Perplexity)确实在测量模型的减熵能力。但它们分不清真有序和伪有序——模型自信地说"地球是平的",困惑度极低,但它是错的。
核心问题:如何为"通用灵活的熵减能力"建立可操作的度量?深层结构:「输入能量 → 经介质转化 → 输出状态变化」的效率问题,附加"输出必须是真有序而非伪有序"的约束。
| 候选模型 | 来源学科 | 同构程度 | 优势 | 缺陷 |
|---|---|---|---|---|
| 比热容 $c = Q/(m \cdot \Delta T)$ | 热力学 | 🟢 高 | 三变量结构完全吻合 | 不区分真伪 |
| 信噪比 $\text{SNR} = P_s / P_n$ | 信号处理 | 🟢 高 | 精确捕捉真伪维度 | 缺少效率维度 |
| 林德曼效率 | 生态学 | 🟡 中 | 捕捉效率 | 缺少复杂度与真伪 |
| 杨氏模量 | 材料科学 | 🟡 中 | 结构对称 | 方向相反 |
选择比热容 + 信噪比组合映射:来自不同学科,各自覆盖对方的盲区。
| 热力学变量 | 符号 | 智能领域变量 | 符号 | 操作性定义 |
|---|---|---|---|---|
| 吸收热量 | $Q$ | 消耗的资源 | $E$ | FLOPs 或焦耳 |
| 物质质量 | $m$ | 任务非先验复杂度 | $W$ | 任务的陌生度 × 结构复杂度 |
| 温度变化 | $\Delta T$ | 信息熵下降量 | $\Delta H$ | 从混沌到确定的比特数 |
| 比热容 | $c$ | 比智容 | $c_{\text{intel}}$ | 智能做功的"惰性" |
引入信噪比的映射,将"表观熵减"拆分为"有效熵减"和"无效熵减":
| 信号处理变量 | 智能领域变量 | 操作性定义 |
|---|---|---|
| 信号功率 $P_s$ | 有效熵减 $\Delta H_{\text{true}}$ | 与事实/逻辑一致的信息量 |
| 噪声功率 $P_n$ | 无效熵减 $\Delta H_{\text{false}}$ | 幻觉、错误、误导性信息 |
| 信噪比 SNR | 保真度 $\mathcal{F}$ | 有效熵减 / 总熵减 |
兰道尔原理:每擦除 1 比特信息至少需要 $k_B T \ln 2 \approx 2.87 \times 10^{-21}$ 焦耳。比智容存在不可逾越的物理下界——再高效的智能体,$\mathcal{I}$ 也不可能无穷大。
香农信道容量定理:对给定信道存在容量上限 $C$。暗示每个模型架构有固有的"智能信道容量",不是无限可优化的。
| 优先级 | 问题 |
|---|---|
| 🔴 高 | 如何构建 $\mathcal{F}$(保真度)的自动化测量方法? |
| 🔴 高 | 如何构建 $W(T, A)$ 的评估量表?困惑度能否作为 $W$ 的代理变量? |
| 🟡 中 | 净智效 $\mathcal{I}$ 是否存在类似香农极限的理论上界?当前最好的模型距此多远? |