论文《Does Scaling Toward AGI Depend on What System‑1 Lets System‑2 Execute?》（arXiv:2610.39497）章节要点+通俗解读

论文来自清华大学自动化系，核心观点：通往AGI不能只无脑堆大模型（System‑2），要配套协同设计一个轻量预判模块System‑1；用「预测‑过滤‑执行‑更新」闭环，只把昂贵算力花在真正有价值的交互上。
名词通俗释义：

• System‑2：重算力、做深度思考/推理/工具调用的大模型（干活的“苦力”，贵，耗显存算力）
• System‑1：轻量小模型，先预判这件事值不值得干（筛子，成本极低，不做复杂推理，只打分）
• 交互interaction：一次CoT推理、一次工具调用、机器人一步环境行动、训练一条样本都算交互
• $\boldsymbol{\rho_u}$：有用交互密度，所有候选交互里面真正能带来学习/收益的那部分占比；$\rho_u$越小，垃圾交互越多
• 条件交互 conditional interaction：整套「System‑1打分过滤，System‑2只执行过审任务，结果反过来训练System‑1」闭环

摘要 Abstract

章节要点

1. 当前AGI路径主要靠放大System‑2：更大模型、更多数据、更多算力、更长推理、更多智能体。
2. 提出新思路：要协同设计System‑1+System‑2。轻量System‑1在执行前预判每个交互的价值，System‑2只执行值得花钱的交互。
3. 核心机制：预测‑门控过滤‑执行‑更新闭环，覆盖训练、推理、智能体工具调用全场景。
4. 理想条件下算力可以缩减接近 $1/\rho_u$；预测出错、探索、分布偏移会削弱节省效果。
5. 假设：$\rho_u$ 是衡量缩放效率的关键指标；比起总算力，有效信息算力（informative compute）更适合描述模型缩放规律。

通俗解读

现在做大模型就是拼命把“干活大模型System‑2”越做越大。但很多任务、样本、推理步骤是没用的，白白烧显卡。
不如配一个便宜小System‑1当过滤器：先快速看一遍，判断这件事值不值得大模型下场干；只有值得的，才交给昂贵大模型执行；干完的结果反过来教System‑1预判得更准。
如果100件事里面只有10件有用（$\rho_u=0.1$），理想状态算力可以省到原来1/10。但小筛子也会看错，会打折扣。衡量模型进步不要光看总算力，要看真正产生价值的那部分算力。

第1章 The Interaction Problem at Scale 大规模下的交互难题

章节要点

1. AI发展分3个时代：
   • 时代1（2012‑2020）：单纯放大模型参数量
   • 时代2（2020‑2025）：放大数据与算力（现在主流路线）
   • 时代3（2026+）：协同设计System‑1+System‑2，优先选择高价值交互。
2. 瓶颈不只是缺数据算力：很多交互做完几乎得不到新信息，边际收益持续递减。
   • 数字场景（大模型训练）：RLVR强化学习，很多prompt生成全部答案都对/全部错，得不到有效梯度信号，白跑rollout。
   • 物理场景（机器人）：现实世界动作成本极高，不能无限随便试错。
3. “超级鹦鹉假说 Super Parrot Hypothesis”：AI演进三阶段 1）模仿人类文本；2）可被人类看懂的CoT推理；3）自我编码表征、自我进化，人类看不懂内部逻辑。 AI自己生成越来越多训练数据，挑选哪些自生成交互值得执行变成核心效率难题。
4. 核心研究问题：昂贵的System‑2，能不能在执行之前就知道一个交互到底有没有价值？System‑2自己做不到，因为评估价值本身就很贵。

通俗解读

我们现在遇到收益递减：显卡堆得再多，大量推理、样本、机器人动作都是无效劳动。
比如训练数学大模型，有些题目模型已经全会，反复训练不会学到东西；机器人乱试动作会耗费真实时间。
未来AI会自己给自己造训练数据，这时候更不能不加分辨什么都跑。
但是，让大模型自己判断“这件事值不值得做”代价太高，所以需要一个便宜帮手System‑1。

类比：学生刷题（System‑2）。不要不加分辨刷全部习题；配一个小助手System‑1快速扫题，只挑你薄弱、能提分的题目做；刷完题的结果，让小助手更懂你哪些题该做。

第2章 Conditional Interaction As A Co‑Design Strategy：条件交互，协同设计策略

章节要点

1. 区分静态级联 vs 自适应协同设计
   • 静态级联：小模型简单分发任务，大模型干活；小模型不会根据执行结果更新（市面上部分System‑1产品）。
   • 论文提出的协同设计：System‑1不只路由请求；System‑2执行完的结果，用来持续训练System‑1；两者联合优化。
2. 定义「条件交互策略」：
   • System‑1输出预测效用分数；设置自适应阈值，分数高于阈值才放行给System‑2；可以软采样也可以贪心选最优。
   • 效用utility：交互做完能带来多少信息/学习收益，可以是信息增益、风险下降、任务价值，不只有一种定义。
3. IIE交互信息效率指标：单位系统开销拿到多少有用收益。
   • 理想完美筛选：算力节省接近 $1/\rho_u$；
   • 如果System‑1会犯错（误杀有用交互、放过垃圾交互），节省效果下降。
4. 主优化目标：带预算约束的分数选择，本质背包问题；要考虑交互的不同成本。
5. 这套方法不是万能的，有适用边界 ✅适合：交互成本昂贵；交互价值参差不齐；可以低成本预判价值。 ❌不适合：交互极便宜；预判成本几乎等于执行成本。 > 必须保留探索机制：遇到分布偏移、预测不准时，要故意执行一部分System‑1判定为“没用”的交互，防止漏重要信息；设置审计采样。

通俗解读

很多现有方案只是“小模型简单分发请求给大模型”，小模型学完就不动了。
本文要求闭环：大模型干活的结果反过来训练小筛子System‑1，让筛子越变越聪明。
同时要算账：筛子本身也要花一点点成本，如果筛子开销太贵，整体反而亏。
筛子不能完全一刀切全部过滤，万一筛子看走眼，把真正关键任务直接扔掉就完蛋。所以要随机保留一小部分被筛掉的任务去执行，用来纠错System‑1。

类比刷题：小助手不能永远只挑它认为的难题；偶尔也要做几道它觉得简单的题，验证自己判断是否出错。

第3章 Co‑Designing the Two Systems：两套系统的架构与协同缩放

章节要点

1. 算子分解：两套系统各自的更新算子：System‑2靠筛选后的交互更新模型；System‑1靠System‑2返回真实结果更新打分预测；两套系统以不同时间尺度迭代。
   • System‑1（预测器）更新更快；System‑2（执行大模型）更新慢。
2. 协同缩放Co‑Scaling核心结论：当System‑2变得越来越贵，System‑1最优规模不应该变小，最好适当增大。 System‑2成本越高，花钱提升System‑1准确度的性价比就越高。但论文只给出定性方向，没有给出确切缩放比例，留作实验开放问题。
3. 完整架构4步：表征→预测→门控过滤→学习更新 1）表征：把任务/交互转成向量； 2）System‑1预测价值分数； 3）门控，自适应调节放行阈值，控制放行比例； 4）执行结果回传，更新System‑1；同时保留审计样本。
4. 三类接口：知识接口、表征接口、反馈接口；支持多层级嵌套门控。

通俗解读

System‑2越来越大越来越烧钱的时候，System‑1不能越做越小。
大模型很贵，这时候多花一点点算力把小筛子做得更准，减少大量无效昂贵执行，整体收益很高。
架构流程：把任务转成向量，小模型打分，阈值控制放多少任务给大模型；执行完反馈训练小模型。
同时要分层：可以多层筛子，先筛大任务，再筛子任务。

类比：当补课（System‑2）非常贵的时候，你值得多花一点时间（System‑1）好好筛选哪些补课内容真正对你提分，不要什么课都报。

第4章 What Prediction Buys, and Why a Small System‑1 Can Work：预判带来的收益，为什么小System‑1够用

章节要点

1. 筛选收益（Screening Gain）
   • 传统“先全部执行，事后过滤”：所有候选交互全部跑一遍，成本巨大。
   • System‑1预判筛选：只给候选做低成本打分，只执行筛选通过的。理想下成本接近 $\rho_u + r$（$r$ 是System‑1打分相对开销）。
   • 同时降低内存占用：不需要为海量候选预分配大模型运行内存，只给筛选通过的任务分配。
2. 选择遗憾（regret）理论边界： 如果System‑1预测误差足够小，小于交互之间价值差距，筛选几乎不会选错任务；误差变大则损失增加。
3. 从三个理论视角理解这套框架 1）主动推理（信息论）：System‑1预估做完这件事会带来多少信念更新（信息增益），减去成本，决定要不要做。 2）生成模型视角：交互相当于环境/模型状态跳转；System‑1不用完整模拟全过程，只需要预估跳转的价值，所以可以很小。 3）控制理论（模型预测控制MPC）：把整个学习系统看作受控对象；System‑1做规划，只执行最优一批交互，再观察结果重新规划。

通俗解读

老办法：全部任务跑一遍，跑完才知道哪些没用，钱已经烧完了。
新办法：先低成本打分，只跑高分任务。同时内存也省了，不用给海量任务预留大模型显存。
小System‑1*不需要完整模拟整件事会发生什么，只需要输出一个“这件事值不值得做”的分数*，所以可以很小。
这套思想也可以类比控制领域模型预测控制：先预判一批方案，只执行最好那批，拿到真实结果重新预判下一轮。

类比旅游：不用亲自全部景点玩一遍才知道好不好玩；看攻略快速打分，只去高分景点；玩完更新你对景点的认知。

第5章 Conditional Interaction Across Digital and Physical Domains：数字&物理领域的实例

章节要点

1. 数字场景（大模型训练） RLVR推理模型微调：大量prompt生成全部对/全部错，无法产生梯度。过去是生成完再过滤；新工作在生成前预判prompt是否有训练价值，跳过无价值prompt，减少rollout开销。
2. 物理场景（机器人、仿真） 领域随机化：过去随机生成大量仿真任务，很多任务机器人已经掌握；新方法System‑1预判任务的适应风险，优先训练高风险任务。
3. 对比已有工作：和普通主动学习、数据估值不一样。普通主动学习针对静态数据集；本文框架中任务池和模型本身一直在变化，价值会随模型能力改变。

通俗解读

数字例子：训练推理大模型，有些题目模型已经全会，跑再多也学不到东西。System‑1提前识别，直接跳过，不做生成。
机器人例子：仿真环境里，很多任务机器人已经很熟练，反复训练没用；小模型预判哪些任务机器人容易翻车，优先拿这些任务训练。
重点：随着模型变强，同样一个任务的价值会变化，筛子要跟着模型能力持续更新，不能一成不变。

第6章 Conditional Interaction at Test Time：推理测试阶段的条件交互

章节要点

不只是训练阶段！推理上线部署也能用这套System‑1+System‑2架构。

1. 测试时交互定义：推理一步CoT、一次采样、调用一次工具、向环境发起一次动作，都是交互。
2. 测试时算力缩放：不是所有query都需要超长CoT、大量采样。System‑1预判再多做推理还能不能提升答案；收益低于阈值就提前停止推理，节约推理成本。
3. 智能体工具调用：System‑1预判调用工具、提问、思考的信息价值，只有收益大于成本（时间、金钱、风险）才调用，避免无脑频繁调用工具。
4. 给出测试、训练、机器人、智能体4种场景对照表：交互是什么、效用、成本、门控阈值。
5. 风险：局部单步收益低，但多步之后才有巨大收益，单步门控会过早停止；需要考虑延续价值。

通俗解读

上线推理也不要无脑给所有问题拉满最长思考、疯狂调用工具。
简单问题，不需要长思考；System‑1判断“再想也不会提升答案”，直接停止推理，省token和时间。
智能体不要动不动就调用工具；小筛子先判断调用工具能不能带来有效信息，成本值不值得。
坑：有时候单看这一步没收益，但多步之后收益巨大；简单的单步预判会提前终止，要考虑长期延续价值。

第7章 A Testable Scaling Hypothesis, and Open Problems：可验证缩放假设 & 开放问题

章节要点

1. 有效信息算力假说 Informative Compute Hypothesis 传统缩放定律拿总算力C预测模型损失；论文提出应该看有效信息算力 $C_{info}$，也就是真正花在高价值交互上面的算力总和。 假设：随着模型变强，$\rho_u$（有用交互占比）会逐步衰减，会解释收益递减现象。 理想情况下，使用条件交互的缩放曲线等价于原始曲线向左平移。
2. 最大痛点：选择性标签偏差（Censoring） System‑1决定哪些交互会被执行；只有被放行的交互，才有真实结果反馈用来训练System‑1；被过滤掉的交互没有真值。 会出现恶性循环：System‑1认为没用→不执行→永远得不到这个任务真实价值→System‑1永远学不会纠正这个错误。 > 解决方案：审计采样，强制小部分被筛掉任务执行；使用逆概率加权修正偏差。
3. 一系列开放问题
   • 测量 $\rho_u$ 真实衰减曲线，是最重要实验；
   • System‑1与System‑2最优算力配比；
   • 多智能体环境，交互价值取决于多个智能体联合信念；
   • 探索和利用之间如何平衡。

通俗解读

现在研究缩放，只看“总共烧了多少显卡算力”。论文说这不够，要看真正花在有用任务上的算力。
模型越来越强之后，值得学习的任务会越来越少，$\rho_u$下降，这就是收益递减的来源之一。
最大坑：筛子过滤掉的任务，你永远不知道它真实价值。筛子误以为没用，就永远不会执行，永远得不到反馈，错误一直保留。
解决办法：强制拿一小部分被筛掉的任务跑一遍，当作审计样本，用来纠正System‑1。
未来实验关键：实际测量 $\rho_u$ 如何随模型能力变化；找System‑1和System‑2的算力黄金配比。

第8章 Conclusion 总结

章节要点

1. AGI下一阶段进步，重点是System‑1与System‑2协同设计，而不是单纯放大System‑2。
2. 条件交互闭环（预测‑门控‑执行‑更新）统一覆盖训练、推理、机器人、智能体工具调用。
3. 这套方案适用前提：交互昂贵、价值参差不齐、价值可以低成本预判；不是万能方案。
4. 最重要下一步实验：实测 $\rho_u$，对比用总算力 vs 有效信息算力的缩放曲线。

通俗解读

通往AGI不只是拼命把大模型做更大。我们要做一套组合：便宜预判筛子System‑1 + 昂贵干活System‑2，形成闭环。
前提：任务交互成本高，并且可以低成本预判价值。
未来最关键的实验：去实际测“有用交互密度 $\rho_u$”，检验用有效算力能不能比总算力更好解释模型性能增长。

附录A：数学证明

一堆定理严格证明：筛选效率、内存界、选择遗憾边界、测试时间界、协同缩放等数学推导。

附录B：数字/物理场景获取函数

收集论文中各类任务打分目标函数（提示采样、机器人风险预估、多样性采样等）。

全文一句话大白话总结

现在做大模型就是使劲堆昂贵大模型System‑2，但很多任务/推理步骤是垃圾消耗算力；我们要搭配一个轻量System‑1当预判筛子，只让真正有价值的任务消耗昂贵算力；干完活结果反过来训练筛子，整套闭环可以同时用于训练和上线推理；未来衡量AI缩放，要看真正产生价值的算力，而不是总算力。