从生物智能的计算效率,到下一代 AI 智能运行基础设施
一、一个观察:果蝇的大脑为什么如此厉害?
果蝇的大脑只有约10万至14万个神经元,却能够完成飞行、避障、目标追踪、环境适应等复杂任务。
飞行本身是一项高度复杂的动态控制任务。果蝇需要持续处理视觉信息、身体姿态、空气动力学变化和外部环境扰动,并在极短时间内完成感知、判断和动作调整。
如果按照传统计算思路,试图通过一个计算系统完整模拟环境、预测所有状态、计算最优轨迹,再决定每一步动作,所需要的计算资源可能非常庞大。
果蝇采用的方式提供了另一种思路:
- 通过专门化神经回路提取关键环境信息。
- 通过感知与运动系统的紧密耦合完成实时控制。
- 利用身体结构和物理环境承担部分计算。
- 通过连续反馈修正动作,而非每次重新计算完整世界状态。
这引出了一个值得研究的问题:
完成一项复杂任务所需要的智能,是否远低于理解和模拟整个任务世界所需要的智能?
果蝇并不需要理解整个物理世界才能飞行。它只需要具备完成飞行所需的最小能力结构。
这对大模型的发展具有重要启发。
二、计算不可约性:复杂任务不一定需要庞大的内部计算
从计算不可约性(Computational Irreducibility)的角度看,某些复杂系统的演化无法通过一个更简单的公式直接预测,必须实际执行其演化过程,才能获得结果。
现实世界中的大量任务都具有这种特征:
- 软件开发需要不断修改代码、执行测试、观察错误。
- 工业控制需要持续感知设备状态并调整控制策略。
- 生物制药需要通过实验观察、结果分析和下一轮实验逐步收敛。
- 复杂决策需要获取新的信息,并根据实际结果调整判断。
这些任务具有一个共同特点:任务的最终状态无法仅通过初始信息和一次推理完整确定。
传统大模型的主要计算模式是:
输入 → 模型推理 → 输出。
它将大量计算集中在模型内部,依靠参数和上下文形成知识表征、推理和生成能力。
但在计算不可约的任务中,单次推理无法完成全部工作。系统必须进入真实环境,执行动作,获取结果,再继续计算。
由此可以形成一个新的认识:
智能的实现不只取决于模型内部拥有多少计算能力,还取决于模型如何利用外部环境、工具和反馈完成计算。
这也为理解小模型的价值提供了新的视角。
三、重新理解模型规模与智能能力
大模型的发展证明,扩大参数规模、训练数据和计算量,可以显著提升模型的通用表征与推理能力。
但参数规模并不直接决定每一项具体任务所需要的最小智能规模。
可以把这个问题拆成三个层次:
- 通用智能:需要覆盖广泛的知识、任务和能力组合。
- 领域智能:需要理解特定领域的知识、规律和决策结构。
- 任务智能:只需要完成特定任务所要求的能力集合。
果蝇飞行就是一个典型的任务智能案例。
对于特化小模型,同样存在这样的机会。
假设一个复杂任务需要完成知识识别、关系分析、决策、工具调用和结果验证。
传统方式可能要求模型在内部完成全部工作。
新的方式可以重新分配计算:
| 任务 | 计算承担方 |
|---|---|
| 专业知识识别 | 特化小模型 |
| 复杂数值计算 | 专业计算工具 |
| 外部信息获取 | 数据与检索系统 |
| 任务规划 | Agent |
| 业务操作 | 外部执行环境 |
| 结果验证 | 独立验证器 |
| 长期状态管理 | Runtime |
模型只需要承担其中最适合由神经网络完成的部分。
因此,特化小模型的研究方向可以从单纯追求模型压缩,进一步转向:
寻找特定任务所需要的最小完整智能计算结构。
四、专家知识:改变智能形成的效率
这里回到一个重要问题:
专家标注数据是否能够改变模型智能涌现所需要的参数规模?
通用模型需要从海量数据中自行发现知识关系、任务规律和判断标准。
专家则已经通过长期实践积累了大量领域知识,包括:
- 关键变量及其关系。
- 隐含的判断规则。
- 特殊情况和边界条件。
- 失败案例及其原因。
- 从经验到决策的过程。
如果能够将这些经验转化为高密度、结构化、可验证的训练信号,就可能减少模型自行发现任务结构的成本。
专家数据可以分成四个层次:
| 层次 | 专家数据 | 训练价值 |
|---|---|---|
| L1 | 结果与答案 | 建立任务映射 |
| L2 | 知识关联与证据 | 建立领域表征 |
| L3 | 判断过程与决策依据 | 学习任务执行结构 |
| L4 | 反例、边界和约束 | 提高泛化与稳定性 |
这里存在一个重要的研究假设:
专家知识能够提高单位参数所获得的有效学习信号密度,使特定智能能力在更小的模型中提前显现。
需要区分两个结果:
- 提高既定参数规模下的任务准确率。
- 降低形成某项稳定、可泛化能力所需要的临界参数规模。
后者才是真正值得研究的能力涌现问题。
目前,TinyStories、Textbooks Are All You Need、Distilling Step-by-Step 等研究已经为高质量数据、任务空间约束和过程监督的作用提供了实验依据,但专家数据能否系统性改变真实能力的临界参数规模,仍然需要专门实验验证。
五、智能的持续演化:负熵与 RSI
如果将智能理解为一种持续建立有序结构、降低局部不确定性的过程,可以用负熵作为一种信息论层面的类比。
智能系统通过获取信息、识别规律、建立关联、形成预测,再根据现实反馈修正内部模型。
可以抽象为:
原始信息 → 模式识别 → 知识结构 → 预测与决策 → 行动反馈。
这意味着智能的持续增长需要新的有效信息输入。
递归自我改进(Recursive Self-Improvement,RSI)试图让模型通过自我生成数据、自我评价和持续训练改善自身能力。
但如果模型长期只使用自己生成的数据进行训练,就可能出现信息多样性下降、长尾知识丢失、错误累积和评价体系内循环等问题。
Model Collapse 相关研究已经观察到,模型长期使用自身生成的数据训练,可能逐渐偏离原始真实数据分布。
AlphaZero 则提供了另一种重要经验。
它通过自我博弈产生训练数据,通过游戏规则和胜负结果验证策略,不需要持续依赖人类棋谱,也能实现能力提升。
两种机制的区别在于是否存在独立于模型自身判断的有效反馈。
由此可以形成一个判断:
RSI 可以承担内部探索和能力优化,但持续演化需要外部世界提供新的信息、约束和验证。
专家知识、真实业务数据、物理环境和可验证的实验结果,都可以成为这种外部信息来源。
六、从模型到 Agent:建立模型与环境之间的闭环
前面的讨论最终指向 Agent 和 Harness 的重要性。
一个模型可以具备知识、推理和生成能力,但要完成复杂任务,还需要持续与外部环境交互。
例如,软件开发 Agent:
- 理解开发需求。
- 阅读代码和项目结构。
- 制定修改计划。
- 调用工具修改代码。
- 执行测试。
- 观察错误和运行结果。
- 修正问题。
- 验证最终交付。
模型的每次推理只是这个过程中的一个计算节点。
真正的任务完成依赖多个推理、行动、反馈和状态更新过程。
因此,需要区分几个概念:
| 组成 | 核心职责 |
|---|---|
| Model | 认知、表征、推理与决策 |
| Agent | 目标驱动、任务规划与行动 |
| Harness | 管理执行过程、工具、权限和运行状态 |
| Environment | 提供真实数据、工具和行动空间 |
| Feedback | 验证结果、发现偏差、产生新信息 |
Harness 将模型与外部环境连接起来,使模型能够参与持续运行的计算过程。
它解决了单次推理无法承担的长期任务管理、上下文维护、工具执行、异常恢复和反馈循环问题。
这里需要特别强调:
Context Share 只是其中一项能力。
上下文共享解决信息连续性,Harness 解决执行连续性,而更高层次的 Intelligence Runtime 需要解决整个智能系统的持续运行问题。
七、Intelligence Runtime:下一代智能运行基础设施
由此可以提出一个新的系统级概念:
Intelligence Runtime:面向智能体和模型的原生运行基础设施,负责组织模型、Agent、上下文、工具、环境和反馈,使其形成持续感知、认知、行动、验证和演化的闭环。
它的目标是将静态的模型推理能力转化为持续运行的系统智能。
可以将其划分为六个核心能力层:
| 系统层 | 核心能力 | 主要作用 |
|---|---|---|
| Intelligence Orchestration | 模型路由、任务规划、Agent 编排 | 组织不同智能能力 |
| Context & State | 上下文、记忆、状态、事件历史 | 保持任务连续性 |
| Environment Connectivity | 工具、API、软件、数据、物理设备连接 | 扩展外部行动空间 |
| Action Execution | 调度、执行、并发、事务、隔离 | 将认知转化为行动 |
| Feedback & Verification | 结果观测、独立验证、异常检测 | 将行动结果转化为有效信息 |
| Governance & Evolution | 身份权限、审计、回滚、经验沉淀、模型迭代 | 保证长期运行与持续改进 |
六个层次共同构成一个动态系统。
其基本运行过程是:
Observe → Reason → Act → Verify → Update State → Next Iteration。
这不是一个简单的线性工作流。它需要支持异步执行、并发协作、状态持久化和循环反馈。
八、Intelligence Runtime 的三个关键特征
1. Model-agnostic
不依赖某个特定模型。
能够组合不同规模、不同架构的模型,包括通用大模型、特化小模型以及其他专用计算模块。
模型可以根据任务复杂度、成本、时延和准确性要求动态选择。
2. Environment-agnostic
不依赖某个特定执行环境。
能够连接软件、API、数据源、网络节点、云服务和物理设备。
环境不仅提供信息,也提供行动空间和真实反馈。
3. Stateful & Evolvable
能够维持长期任务状态,记录行动历史,管理上下文和经验,并将经过验证的结果转化为下一轮可复用能力。
这意味着系统的价值可以随着运行时间、任务数量和有效反馈积累而增长。
九、从 AI Infra 到 Intelligence Runtime
传统 AI Infra 主要围绕计算、存储、训练和推理构建。
随着 Agent 的发展,基础设施的价值开始向更高层次延伸。
| 基础设施阶段 | 核心资源 | 提供的价值 |
|---|---|---|
| Compute Infrastructure | GPU、CPU、网络 | 提供计算能力 |
| Model Infrastructure | 模型、训练、推理 | 提供模型能力 |
| Context Infrastructure | 数据、记忆、业务状态 | 提供持续理解能力 |
| Agent Infrastructure | Runtime、工具、编排 | 提供行动能力 |
| Intelligence Runtime | 模型、环境、状态、反馈、治理 | 提供持续运行和演化的智能系统 |
这里存在一个潜在的产业变化:
过去,基础设施主要提供模型运行所需要的计算资源。
未来,基础设施可能进一步提供智能持续运行所需要的完整环境。
其技术壁垒也将发生变化:
- 模型无关的能力组织。
- 跨环境的连接与发现。
- 长期状态管理和一致性。
- 可靠的行动执行与验证。
- 跨任务、跨模型的经验积累。
- 经过验证的持续改进机制。
Context Infrastructure 积累信息资产。
Intelligence Runtime 积累经过行动和验证的经验,以及可复用的执行能力。
十、最终命题:从模型智能到系统智能
从果蝇飞行,到特化小模型,再到 Agent 和 Intelligence Runtime,可以形成一条完整的思考路径:
第一,复杂任务不一定需要通用智能。特定任务可以通过专门化的能力结构,以较小的计算规模完成。
第二,专家知识可以帮助模型更高效地形成这种能力。通过提高有效训练信号密度、减少无效搜索,可能降低特定智能能力的形成门槛。
第三,模型自身的能力并不足以保证持续演化。RSI 需要外部信息、真实环境和独立验证,避免封闭循环中的信息退化。
第四,Agent 和 Harness 将模型连接到外部世界,使模型能够通过行动和反馈参与更大规模的计算过程。
第五,Intelligence Runtime 将这些能力组织成一个持续运行的系统,使不同模型、Agent、工具和环境可以共同完成复杂任务。
由此提出一个最终研究命题:
智能的实现依赖模型内部的信息组织,智能的扩展依赖模型与环境之间的持续耦合,智能的演化依赖外部信息与独立反馈。
果蝇提供了一个生物学启示:完成复杂任务所需要的计算,可以通过专门化神经回路、身体结构和环境交互进行重新分配。
下一代 AI 系统也可能沿着类似方向演进。
我们需要寻找的,可能不只是更大的模型,而是能够让不同模型以更低成本、更高效率完成复杂任务的智能运行系统。
这就是从果蝇到 Intelligence Runtime 的思考。
从扩大模型的智能规模,走向扩大智能系统的计算能力。