机器之心修改

近期，围绕「世界模型」的讨论持续升温。机器人、自动驾驶、视频生成、具身智能等多个方向都在频繁使用这一概念，相关系统不断出现，演示形式日益丰富，评价指标也越来越多。伴随这一趋势，一个基础问题变得格外重要：当一个模型被称为「世界模型」时，人们究竟在评价什么？

南京大学人工智能学院团队近日发布的综述性立场论文，围绕这一问题给出系统回答。论文指出，面向具身智能和机器人决策的世界模型，评价重点应落在其对行动后果的预测能力、对策略优劣的判断能力，以及对规划和优化的实际支持能力上。视频是否逼真、画面是否流畅、语义是否贴合指令，这些维度依然重要，但它们更适合作为基础诊断和辅助评估的指标。

• 论文标题：How Should World Models Be Evaluated for Embodied Decision-Making? A Decision-Making-Centric Position
  

• 论文地址：https://arxiv.org/abs/2606.15032

「世界模型」覆盖对象逐渐多样化

仅在两年前，人工智能研究的语境中，世界模型还主要指面向控制与规划的环境模型。系统需要在行动前进行内部推演，估计「如果执行这组动作，接下来会发生什么」，进而服务于策略评估、路径规划和决策优化。

近期，随着生成模型、视频模型和具身大模型的发展，「世界模型」的覆盖范围快速扩大。今天，这一名称可以指向多种不同的技术对象：

有的侧重以动作为条件的环境动力学建模，有的强调未来视频生成，有的将模型作为可交互神经模拟器使用，有的专注于隐空间中的表征预测，还有一些工作则把世界模型作为数据合成引擎或可执行规划器。

这些方向彼此相关，也各自承担不同任务。概念的扩展带来了研究活力，也让「世界模型」逐渐成为一个高度宽泛的标签。同一个词开始覆盖多类模型，不同论文中的「世界模型」承担的角色和功能差异显著，评价方式也随之分化。对「世界模型」定义的边界亟需澄清。

核心问题：「世界模型」

的评估证据如何支撑其能力主张

这篇论文最重要的工作之一，在于把当前文献中常见的几类「世界模型」能力主张拆开来看。团队指出，当前相关研究通常会提出 6 类能力主张：

• 预测未来观测结果；

• 评估不同策略的表现；

• 支持策略优化；

• 帮助生成可执行规划；

• 生成有价值的训练数据；

• 提供足以支持决策的隐式表征。

这些主张之间存在联系，也有明显差异。能够生成可信视频，与能够支持策略评估，属于不同层面的能力。能够完成语义对齐，与能够承受优化器反复搜索带来的分布偏移，也不是同一个问题。论文强调，评价的关键在于让评估证据和能力主张保持一致。模型声称服务具身决策，就需要给出更贴近决策过程的评估证据。

当前评估实践中，

感知指标占据了很大比重

论文系统梳理了近期大量代表性工作后发现，当前世界模型研究中最常见的评估内容，集中在以下几个方向：

• 生成视频的真实感与美观度；

• 与真实未来轨迹的像素级或感知级相似度；

• 对语言指令的理解和语义一致性；

• 对物理规律的表面遵循程度；

• 最终任务成功率。

这些指标覆盖了模型输出的多个层面，能够帮助研究者了解模型的生成质量、条件控制能力和基本任务表现。论文同时指出，若研究目标落在具身决策，仅凭这些指标仍不足以完整支撑结论。

决策系统需要回答的问题更加具体：同一段历史下，动作一旦改变，任务相关结果会如何变化；模型对成功、失败、奖励和进度的判断是否可靠；当模型被用于比较策略、规划行动甚至参与优化时，它给出的结论与真实环境之间有多大偏差。

换句话说，具身决策关心的是行动带来的后果，关心的是闭环系统中的有效性，关心的是长期回报和策略排序。与这些问题最接近的评估方式，并不集中在视觉层面。

提出 7 级评估阶梯，

梳理世界模型证据强度

为了让不同评估目标更清晰地放在同一张图谱中，论文提出了一个从 L0 到 L7 的「世界模型评估阶梯」。这一框架覆盖了从表面生成质量到真实决策价值的不同层次：

• L0：视觉合理性。关注生成结果是否看起来真实；

• L1：已记录未来预测。关注模型对日志轨迹未来片段的预测能力；

• L2：语义对齐。关注是否符合指令、任务和场景语义；

• L3：物理合理性。关注是否满足基本物理和几何一致性；

• L4：动作可控性与干预保真。关注动作变化能否引起正确的任务相关变化；

• L5：奖励、价值与结果保真。关注是否能准确预测成功率、奖励和进度；

• L6：策略评估与排序。关注模型对候选策略优劣的判断是否与真实环境一致；

• L7：规划与优化效用。 关注模型进入规划器或强化学习闭环后，能否真正提升决策质量。

这套阶梯的意义在于，它把世界模型相关评估证据放到了可区分、可对照的位置上。低层级指标为研究提供了重要诊断，高层级指标更直接对应具身决策价值。对于机器人、自动驾驶、智能体规划等任务，L4 到 L7 提供的评估证据强度更高，也更接近模型在真实系统中的作用方式。

生成未来画面与支持行动决策，

属于两类能力

论文反复强调的一点是，生成质量和决策价值之间并不存在天然等价关系。一个模型可以生成非常逼真的未来视频，也可能在动作干预时表现迟钝，无法准确反映动作变化带来的后果；另一个模型即便画面并不华丽，只要它能较稳定地预测任务相关变量、成功信号和策略优劣，依然可能在规划中发挥更高价值。

这一判断延续了有模型强化学习中的经典认识。早期研究已经指出，单步预测精度往往不能稳定代表控制性能。当前生成式世界模型研究在很多场合重新遇到了同样的问题：能够贴近观测分布、生成观感良好的未来，不等于能够支撑可靠决策。

论文将这一现象概括为一种「能力主张与评估证据之间的落差」，并认为这是今天世界模型讨论中最值得正视的部分。

更重要的是模型在闭环中的分量

这项研究的意义并不限于学术讨论。对于产业界、技术管理者和投资人而言，它提供了一套更贴近真实价值的观察框架。

在很多应用场景里，世界模型承载的任务十分明确：为机器人提供行动前的内部推演，为自动驾驶系统提供风险预估，为具身智能体提供规划和策略筛选能力。此类系统进入真实环境后，性能取决于几个关键问题：

模型是否真正理解动作与后果之间的关系，是否能够在长时程任务中保持稳定，是否能在分布变化和策略变化下继续有效，是否能避免被优化过程「带偏」。

从这个角度看，世界模型的技术壁垒更多体现在以下能力上：

• 对干预动作的敏感性与准确响应；

• 对任务结果和回报信号的长期保真；

• 对不同候选策略的可靠排序；

• 在优化闭环中的稳定性与抗「漏洞利用」能力；

• 在分布外场景中的不确定性表达和风险控制能力。

这类能力往往决定模型进入产品与系统后的真实表现，也决定其在工程部署中的可依赖程度。

论文提出一套更贴近具身决策的评测协议

在梳理问题的同时，论文进一步提出了一套「以决策为中心」的评估框架和基准协议。其核心思想包括：

首先，研究者需要明确声明模型的「决策契约」，即模型面向什么任务家族、什么策略类型、什么动作接口、什么时间跨度，以及具体服务于预测、评估、规划还是优化。

在这一前提下，再开展更具针对性的评估。具体而言，论文建议评测中重点纳入以下内容：

• 干预式动作保真测试： 固定历史条件，改变动作分支，观察模型是否给出正确的任务相关变化；

• 闭环策略 rollout 评估： 让策略直接在模型内运行，检查闭环行为与真实环境的一致性；

• 奖励与成功率校准： 衡量模型对奖励、进度和成功概率的预测是否可信；

• 策略排序一致性： 比较模型内评估的策略排序与真实环境中的策略排序；

• 优化增益评估： 固定优化预算后，检验模型是否带来真实可复现的性能提升；

• 可利用性与不确定性评测： 衡量模型是否容易被优化器找到虚高方案，以及模型的不确定性表达是否有助于风险控制。

论文特别提到一个经常被忽视、却对工程应用非常关键的问题：优化器会主动搜索模型中的「高估区域」。一旦世界模型在这些区域给出错误乐观判断，系统就可能在模型内显得表现优异，落到真实环境中却出现明显落差。对于具身智能，这类偏差直接影响决策可靠性。

作者并没有回避现实约束。真实机器人实验昂贵、复现困难、环境重置成本高，大规模干预测试并不容易完成。为此，论文给出了一套「最小可行」报告方案，建议真实机器人工作至少补充 3 类证据：

• 少量重置匹配的动作分支实验，用于检验动作改变后的结果变化；

• 几组强弱差异明显的固定策略，用于测试成功率校准和策略排序；

• 对模型内高分轨迹进行执行验证，观察其真实落地表现。

这组要求保持了现实可行性，也把评估从「生成得像」推进到「决策上是否可信」的层面。

为世界模型建立了一套更清晰的观察坐标

从论文整体来看，这项研究完成了三件事情：

第一，它系统梳理了当前「世界模型」文献中实际在测什么。

第二，它指出了不同证据所能支撑的主张边界。

第三，它给出了一套可执行的评估框架，把具身决策场景中真正重要的问题变成可报告、可比较的指标。

在「世界模型」持续成为热点词汇的当下，这篇论文提供了一种更稳健的技术视角。它将关注点重新拉回行动、后果、策略和闭环性能本身，提醒研究和产业界在评价相关系统时，看到生成质量之外更深一层的决策能力。

结语

对于面向具身决策的世界模型，真正有分量的证据来自模型对行动后果的把握，来自它对策略优劣的判断，来自它在规划与优化中的实际表现。

视觉质量、语义一致性和物理合理性构成了重要基础，也构成了系统可解释性和可视化能力的一部分。进一步走向真实世界应用，评估重心自然会落在干预、闭环、长时程和策略优化这些环节上。

南京大学团队的这篇立场论文，为当前世界模型研究提供了一套更清晰的尺度。对于学术界，它有助于校正研究问题和评估目标；对于产业界和投资人，它提供了识别技术成熟度与长期价值的更可靠参照。世界模型的意义，最终体现在它能否帮助智能系统形成对环境演化的有效把握，并在复杂任务中持续产出高质量决策。

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]

在过去二三十年的互联网发展中，个性化推荐几乎一直是平台的核心能力之一。打开视频 app，平台决定你接下来会刷到什么视频；打开购物软件，平台预测你可能会购买什么商品；打开短视频 app，平台根据你的浏览、点赞、停留和互动，不断优化信息流。某种意义上，现代互联网的用户体验本身就是由推荐系统塑造的。

长期以来，个性化推荐的核心逻辑都建立在一个默认前提上：平台最了解用户。因为平台拥有大量用户行为数据，也拥有强大的推荐算法，所以个性化推荐自然应该由平台来完成。协同过滤、矩阵分解、深度学习推荐模型，再到今天的 LLM-based recommendation，推荐系统的发展主线几乎都是围绕平台展开的。

然而，这一看似牢固的范式，或许正在 Agentic 时代迎来新的转折。来自 UIUC、UT Austin、CMU、NYU、UC Berkeley、Northeastern University 等多校研究团队的最新 position paper 提出了一个核心观点：在 Agentic 时代，个性化推荐不会继续局限于平台中心范式，而将转向用户主导个性化（User-Governed Personalization）。

原因很直接：平台再强，也只能看到用户生活的一部分；而用户自己，才是唯一能够跨越平台边界、整合线上线下完整上下文的主体。LLM Agent 的出现，则让这种过去 “理论上成立、实践中困难” 的用户主导个性化第一次变得可操作。

• 论文标题：LLM Agents Enable User-Governed Personalization Beyond Platform Boundaries

• 论文地址：https://arxiv.org/pdf/2605.09794

一句话概括：平台永远只能看到用户的一部分，而用户才是唯一能整合跨平台与线下信息的主体；LLM Agent 则让这种 “用户主导个性化” 第一次具备了可操作性。作者进一步通过 proof-of-concept 实验提供了初步实验支撑。

从平台中心到用户主导：个性化范式正在发生变化

过去三十年，推荐系统的发展基本都围绕平台展开。早期的协同过滤通过 “买了 A 的人也买了 B” 来捕捉群体行为规律；之后，矩阵分解、深度学习推荐模型、Wide & Deep、DLRM 等方法不断增强平台从海量用户行为中学习偏好的能力；最近，LLM 被引入推荐系统，让平台能够以更自然、更语义化的方式理解用户历史和兴趣。虽然方法不断演进，但一个核心限制始终没有改变：平台只能基于自己观察到的数据做个性化。

例如，在传统以平台为中心的个性化推荐中，Amazon、YouTube、X、Instagram 各自只能看到自己的数据，并独立做推荐；而在用户主导个性化中，用户可以把来自多个平台的数据汇聚起来，再交给 LLM Agent 进行统一理解和推荐。这背后的关键是：平台看到的是行为片段，而用户拥有的是完整生活上下文。

为什么平台很难突破这种数据壁垒？

论文首先系统分析了平台个性化无法获得完整用户画像的原因。作者指出，这并不是因为今天的推荐算法不够强，而是因为平台面临一种结构性的 data barrier。

第一，竞争壁垒：用户数据是平台的护城河

对大型平台而言，用户数据本身就是最核心的竞争资产。更多用户产生更多数据，更多数据训练出更强模型，更强模型又吸引更多用户，这种数据网络效应会不断强化头部平台优势。因此，让 Amazon、Google、Meta、Netflix、Spotify 等公司主动共享高价值用户数据，在商业逻辑上几乎是不现实的。即使存在监管或互操作要求，平台也往往有动机做最低限度合规，而不是开放真正有价值的数据资产。

第二，监管壁垒：法律正在限制平台随意合并数据

平台并不是想合并什么数据就能合并什么数据。例如欧盟 DMA 对 gatekeeper 级别平台合并跨服务个人数据提出了明确限制；GDPR、CPRA 等隐私法规也都在强化用户对个人数据的控制权。

第三，隐私壁垒：用户不愿意把所有数据交给某个平台

即使技术和法律允许，用户也未必愿意让某个平台掌握自己完整的数字生活。一个用户可能愿意让 Amazon 知道自己的购物记录，但不一定愿意让 Amazon 同时知道自己的搜索历史、YouTube 观看记录、社交媒体点赞、邮件内容和线下生活事件。因此，从用户需求侧看，用户对数据集中化本身就有天然抗拒。

第四，认知壁垒：平台永远不知道用户为什么这么做

平台看到的是 “行为”，但看不到 “动机”。同样一次搜索 laptop，可能是给自己买工作电脑，也可能是给朋友挑生日礼物；同样一次购买跑鞋，可能意味着用户开始准备马拉松，也可能只是旧鞋坏了；同样观看大量育儿视频，背后可能是自己即将成为父母，也可能是帮亲友做准备。平台可以记录 what，却很难知道 why。更重要的是，大量真正影响偏好的信息根本不在任何平台日志里：搬家、换工作、结婚、生病、开始健身、经济状况变化、人生目标变化…… 这些线下生活上下文往往会同时影响用户在多个领域的偏好，但没有任何单一平台能完整观察到。因此，论文强调：平台的数据壁垒不是更大模型、更强算法就能解决的技术问题，而是一个结构性限制。

用户为什么才是唯一的整合点？

既然平台无法跨越数据边界，那么谁可以？论文给出的答案非常直接：用户自己。用户是唯一同时存在于所有平台和线下世界中的主体。用户知道自己在 Amazon 买了什么，也知道自己为什么买；知道自己在 Google 搜索了什么，也知道这些搜索和现实生活有什么关系；知道自己在 YouTube 看了什么，也知道哪些兴趣只是短期消遣，哪些是真正长期目标。更重要的是，用户已经逐渐拥有聚合自己数据的法律权利和技术入口。例如 GDPR 中的数据可携带权，要求平台向用户提供结构化、常用、机器可读格式的个人数据；Google Takeout、Amazon 数据导出、Apple、Meta、X 等平台也都提供了不同形式的数据下载工具。

但问题在于，过去这些数据虽然理论上归用户可控，但实际上很难被用户利用。Google Takeout 下载下来可能是大量 JSON、CSV、HTML 文件；Amazon 订单记录、YouTube 历史、Google Search 活动、X 点赞记录格式各异。普通用户即使拿到了这些数据，也很难阅读、整合，更不用说用它们来反过来优化个性化推荐。这正是 LLM Agent 出场的关键位置。

LLM Agent 让用户主导个性化第一次变得可操作

论文认为，LLM Agent 的出现，使用户主导个性化第一次具备了现实可能。原因在于，LLM Agent 不只是一个聊天机器人，而是可以成为用户侧的数据理解与决策代理。它能够读取和理解 JSON、CSV、HTML、文本记录等不同格式的个人数据，也能够把跨平台数据与用户的自然语言指令结合起来，进一步进行偏好建模、总结、推理、解释，并调用外部工具或 API 执行搜索、筛选、排序和推荐任务。

这带来了一个关键变化：过去是平台根据局部数据猜测用户想要什么，现在则是用户可以把更完整的跨平台信息交给 Agent，让 Agent 帮自己判断什么更适合自己。平台推荐的基础逻辑是 “我观察到你在我这里做了什么，所以我推测你接下来可能想要什么”；用户主导个性化的基础逻辑则是 “我把自己跨平台、跨场景的生活上下文交给一个受我控制的 Agent，由它在更完整的信息基础上替我做选择”。

论文特别强调，平台和用户之间真正的不对称，不在于谁拥有更强的 LLM。因为同样的前沿大模型，平台和用户理论上都可以使用。真正的不对称在于，只有用户能够合法、自然、完整地聚合跨平台与线下信息。给定同样的大模型，谁拥有更完整的用户上下文，谁就更有可能做出更好的个性化判断。这就是 User-Governed Personalization 的核心逻辑。

实验验证：跨平台数据是否真的能提升个性化？

为了验证这一设想，作者团队进行了一个 proof-of-concept 实验。实验共包含 15 名参与者。每位参与者下载自己的多平台数据，包括：

• Amazon：订单历史、购物车活动、数字购买记录、搜索历史；

• Google Takeout：Google Search、Google Shopping、YouTube 观看和搜索历史等；

• Twitter/X：推文与点赞记录。

实验中使用的 Agent 基于 Claude Code，模型包括 Sonnet 4.6、Opus 4.6 和 Opus 4.7。作者设计了两个任务来测试跨平台数据是否真的能带来更好的个性化。

任务一：预测用户未来会在 Amazon 买什么

第一个任务是 Amazon future-purchase prediction：给定用户过去一年的行为数据，Agent 需要在一个候选商品集合中排序，其中包含用户未来三个月真实购买的商品，以及来自相关品类的 40 个负样本。实验比较了两种设置：

• Amazon-only：只使用 Amazon 内部数据，包括订单、购物车、数字购买和搜索历史；

• Amazon + Google cross-platform：在 Amazon 数据基础上，额外加入 Google Search、Google Shopping、YouTube 观看历史和 YouTube 搜索历史。为了避免信息泄露，Google 数据只使用锚点时间前一年到前七天之间的数据，中间留出一周 buffer。

实验结果显示，加入跨平台 Google 数据后，所有推荐排序指标都提升了：

• Hit@5：从 86.6 提升到 90.0；

• NDCG@5：从 64.8 提升到 68.4；

• Recall@5：从 60.1 提升到 63.9。

这些提升在统计上显著。这说明一个很直观但重要的事实：用户在 Google、YouTube 上的行为，确实能够帮助预测他未来在 Amazon 上会买什么。也就是说，用户在一个平台上的行为，对另一个平台的个性化具有真实价值；只是过去平台之间的数据壁垒让这种价值无法被利用。

任务二：让 Agent 推荐 YouTube 视频

第二个任务是 YouTube video recommendation。Agent 需要为每位参与者生成 20 个 YouTube 视频推荐，其中包括：

• 10 个 reinforcement recommendations：基于用户已有 YouTube 观看模式进行强化推荐；

• 10 个 exploration recommendations：探索用户可能感兴趣、但尚未在 YouTube 上明确表达过的兴趣方向。参与者会在随机、盲测的设置下观看推荐视频，并判断自己是否愿意继续观看。实验比较了两种设置：

• YouTube-only：Agent 只看到用户的 YouTube 观看和搜索历史；

• YouTube + full cross-platform：Agent 额外获得 Google Search、Amazon 订单与搜索历史、Twitter/X 推文和点赞等跨平台数据。

结果同样非常明显：

• 总体推荐 precision：从 53.3 提升到 61.6；

• reinforcement precision：从 61.5 提升到 64.6；

• exploration precision：从 45.3 提升到 58.3。

最值得注意的是 exploration recommendation 的提升，直接增加了 13 个百分点。

这说明跨平台数据的作用，并不只是把 YouTube 已经知道的兴趣再强化一遍，而是帮助 Agent 发现 YouTube 单独看不到的兴趣维度。换句话说，跨平台数据真正打开了 “探索式个性化” 的空间。

这是不是意味着平台推荐会被完全取代？

论文并没有简单宣称平台推荐会被 LLM Agent 取代。相反，作者明确指出，平台仍然重要。平台依然掌握内容库、商品库存、候选召回、基础排序、交互界面等关键基础设施。用户主导个性化更可能不是完全替代平台推荐，而是在平台基础设施之上，增加一个由用户控制的最终决策层。

也就是说，未来的推荐系统可能不是 “平台推荐 vs 用户 Agent 推荐” 的二选一，而是形成一种新的分工：平台负责提供候选内容、基础匹配和群体协同信号，用户侧 Agent 则基于更完整的个人上下文进行重排、过滤和选择。这种结构的优势在于，它能够同时结合两类信号。一类是平台拥有的群体协同信号，例如 “买了 X 的人也买了 Y”“看过 A 的人也喜欢 B”；另一类是用户拥有的跨平台个人信号，例如 “我最近在 Google 搜了马拉松计划，在 Amazon 买了跑鞋，在 YouTube 看了训练视频，在 Spotify 听跑步歌单”。这两者并不是替代关系，而是互补关系。

不过，作为一篇 position paper，作者并没有把 User-Governed Personalization 描述成一个毫无争议的新范式。相反，论文也讨论了几个非常自然的反对意见。

反驳一：大平台自己整合生态数据不就行了吗？

一个自然反驳是：Google、Apple、Meta 这些大公司本身就有多个服务，难道它们不能自己做跨平台个性化吗？论文的回答是：这只能部分缓解问题，但无法根本解决。即使 Google 能看到 Search、YouTube、Gmail、Maps，Apple 能看到 Mail、Calendar、Messages、Photos，它们依然看不到用户在 Amazon、Spotify、Netflix、X、Instagram 等其他服务中的行为，更看不到完整线下生活。而且，监管层面对大型平台跨服务合并数据的限制越来越强，进一步增加了这种生态内整合的难度。因此，大平台生态可以扩大一个公司的观察范围，但无法真正获得用户完整生活视角。

反驳二：平台有海量群体数据，单个用户怎么比？

另一个反驳是，平台拥有数亿用户的交互数据，这种 collaborative signal 是单个用户无法获得的。论文承认这一点，但认为这并不构成根本否定。因为用户主导个性化并不是要抛弃协同过滤，而是补上平台缺失的另一维信息：跨平台的个人上下文。更进一步，LLM 本身在大规模文本预训练中已经吸收了大量世界知识，某种程度上可以弥补缺乏显式用户 - 物品交互矩阵的问题。近期也已有研究表明，LLM 可以在推荐任务中作为 zero-shot ranker，并通过语言表征支持推荐推理。因此，用户侧 Agent 并不是从零开始做推荐，而是在 LLM 的世界知识基础上，叠加用户独有的跨平台数据。真正理想的未来形态，可能是平台协同信号、LLM 世界知识和用户跨平台个人数据三者结合。

反驳三：用户真的会愿意下载数据、配置 Agent 吗？

今天的数据导出流程确实很麻烦：Google Takeout 文件庞大、格式复杂；Amazon、X、Meta 等平台导出的数据结构也不统一。让普通用户手动下载、解压、清洗、上传给 Agent，显然还不是一个大众化产品体验。此外，把所有个人数据交给云端 LLM 服务商，也可能制造新的数据集中风险。原本平台各自只掌握一部分数据，现在如果全部交给某个 AI provider，反而可能形成更集中的隐私风险。论文对此的判断是：这些是工具和基础设施问题，而不是架构上的根本不可能。未来可能的发展方向包括：更顺滑的数据导出和授权机制、本地优先的 LLM Agent、更强的端侧推理硬件、面向个人数据的 RAG 与长上下文压缩、可信执行环境和机密计算、开源个性化模型、用户自愿参与的隐私保护式联邦协作。换句话说，平台面对的是结构性数据壁垒；而用户主导个性化面对的更多是工程与产品成熟度问题。

用户主导个性化还面临哪些开放问题？

论文最后提出了几个关键开放方向。首先是如何评估真正的个性化质量。个性化推荐很难像数学题一样有标准答案。一个推荐可能相关但无聊，可能新奇但用户不想看，也可能短期看起来没用、长期却很有价值。用户的真实偏好往往模糊、多变，甚至前后不一致。因此，如何设计可靠的评估协议，是用户主导个性化走向大规模研究的第一道难题。更复杂的是，跨平台个人数据高度敏感，不可能像 MovieLens 或 Amazon Reviews 那样公开成标准 benchmark。未来可能需要新的隐私保护评测框架，让研究者既能比较方法，又不暴露用户数据。

其次是 LLM Agent 应该如何更好地理解个人偏好。论文中的实验主要使用 off-the-shelf LLM 和 Claude Code，并没有针对个性化任务做专门训练。这带来一个问题：现有 LLM 的训练目标主要是通用帮助性、代码、数学、对话质量和安全对齐，而不是 “理解一个具体人的长期偏好”。如果 Agent 真正拥有用户完整跨平台历史，那么什么样的训练目标最适合个性化？是否需要 personalization-aware training？是否需要新的 reward model？是否需要长期记忆、偏好演化建模和反事实推荐能力？这些都是未来值得深入探索的问题。

第三个问题是，如何在不牺牲隐私的情况下利用群体智慧。用户主导个性化的一个短板，是缺乏平台那样的大规模群体协同信号。一种可能方向是 user-side federation，也就是用户自愿共享匿名化偏好表示，而不是共享原始数据。通过安全聚合、差分隐私等机制，用户既可以从群体智慧中获益，又能保留对个人数据的控制权。这可能成为平台协同过滤之外的另一种推荐系统组织方式。

最后一个问题是，如何构建本地优先的个人 AI 基础设施。如果用户主导个性化长期依赖云端 API，它仍然会面临数据集中化风险。因此，论文强调，未来需要面向个人数据处理的本地化模型和基础设施。这不仅是推荐系统问题，也可能成为个人 AI 操作系统的核心能力。

小结与反思

这篇论文最有价值的地方，不在于证明某个具体推荐算法比另一个算法更强，而在于它重新讨论了个性化推荐背后的结构。过去的个性化是平台中心的：平台收集数据，平台建模用户，平台决定推荐什么。论文提出的 User-Governed Personalization，则试图把个性化的中心从平台转向用户：用户聚合自己的跨平台与线下信息，用户授权 Agent 理解这些信息，用户主导最终推荐逻辑。

这背后其实是一个更大的趋势。随着 LLM Agent 能够读取文件、调用工具、执行任务和操作网页，用户第一次有机会把自己分散在各个平台里的数字痕迹重新收回。在这个新范式下，个性化不再只是平台优化 engagement 的工具，而可能成为用户管理自己数字生活的基础设施。

当然，这条路还远没有完成。数据导出体验、个人数据隐私、本地模型能力、评估协议、跨平台授权机制、群体协同信号的隐私保护利用，都是仍需解决的问题。但这篇论文提出的问题非常关键：如果只有用户才拥有完整的自己，那么为什么个性化推荐的控制权一直主要掌握在平台手里？LLM Agent 的出现，可能正是这个问题开始被重新回答的时刻。

总的来说，这项工作不仅为推荐系统提供了一个新的研究方向，也为未来个人 AI 的形态提供了重要启发。平台可以继续提供内容、商品、服务和基础推荐能力，但真正理解用户完整生活的主体，或许应该回到用户自己。

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]

机器人伸出食指，按向喷壶上的扳机。镜头里，指尖已经贴上去了，机器人也 “认为” 自己完成了动作，但水没有喷出来。

从画面上看，似乎一切都对。但问题在于，指尖只是碰到了按钮，却没有真正把它压下去。对摄像头来说，“手指贴在按钮上” 和 “按钮已经被按下”，可能几乎是同一幅画面；触觉却能直接告诉机器人：有没有接触、压在了哪里、力到底够不够。

瞄准这类 “看起来做对了，物理上却没完成” 的失败。破晓智能（PHANES AI）创始人、哈工大（深圳）长聘教授杨朔及其团队发布了最新论文 TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation。

TouchWorld 让触觉同时承担两种角色：行动前，预测 “应该碰成什么样”；接触后，再根据真实反馈快速纠错。

在浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾六项真机任务中，TouchWorld 在无额外干扰的场景下取得 65.0% 的平均成功率；加入目标移动、抓握干扰等人为扰动后，成功率为 57.2%，分别超过最强基线 15.7 和 16.0 个百分点。每项任务采集了 200 条遥操作训练轨迹，并进行了 100 次真机评测。

这项工作背后的杨朔，也是破晓智能（PHANES AI）创始人。

杨朔，破晓智能（PHANES AI）创始人、哈工大（深圳）长聘教授、博导

杨朔曾获 Google PhD Fellowship，是当届全球 9 位获奖者之一；博士阶段的工作入选 ICLR Best Paper Finalist，26岁回国任哈工大（深圳）长聘教授、博导，同年获评国家级青年人才。目前，他已经创立破晓智能，组建起一支数十人规模、覆盖数据、模型、机器人控制与硬件系统的具身智能团队。

TouchWorld 不是一次偶然的 “论文突袭”。

它背后，是杨朔团队从人类数据、触觉建模，一路推演到机器人灵巧操作的一整条技术路线；也是破晓智能第一次把这条路线较完整地摆到台前。

触觉既要 “预判”，

也要 “反应”

TouchWorld 标题里最关键的两个词，是 Predictive 和 Reactive。一个负责预判。一个负责纠错。

所谓 Predictive，是让机器人在真正开始动作前，先预测：当这个子任务完成时，画面应该是什么样，手上的压力又应该是什么样。

TouchWorld 会多做一步。

当任务进行到 “按下喷壶扳机” 时，模型不仅预测一张未来画面，还会同时预测一张未来触觉图：具体是哪根手指应该产生压力，压力应该出现在指尖还是掌侧，接触强度大致应该达到什么状态。

这张触觉图，相当于给机器人设定了一个物理世界里的目标。

画面对了，不算完成。手指真正压出了预期的接触，才算完成。

这就是 TouchWorld 的预测能力：它让机器人提前知道，自己应该 “碰成什么样”。

不过，在现实环境里，知道目标还不够。

杯子可能比训练时放偏了几厘米；插头接触插座后可能稍微倾斜；灵巧手长时间运行后，关节可能因为发热、松动而出现误差；甚至在机器人执行过程中，人还会突然碰一下它的手，或者把目标物体挪走。

这时，如果每发生一点变化，都让上层大模型重新观察、重新推理、重新生成一整段动作，速度会太慢。

于是，TouchWorld 增加了 Reactive 路径。当机器人真正接触物体后，系统会持续读取最近的触觉信号和关节状态，在原本动作上叠加细小修正：手指往左偏一点，握力再加一点，手腕角度微调一点。

上层策略负责决定 “往哪走”。触觉反馈负责保证 “碰到之后别走偏”。

这很像人去拿一个湿滑的玻璃杯。大脑会规划手伸向哪里、用什么姿势抓住它；但真正碰到杯壁后，手指感受到杯子要滑，握力会立即调整。这个过程不需要人停下来重新思考一遍 “如何拿杯子”。

TouchWorld 做的，正是把这两种能力分开。

触觉不是只在失败后提醒机器人 “你碰错了”，而是同时参与行动前的目标预测，并在行动中的快速纠错。

TouchWorld 通过触觉世界模型预测机器人任务子目标。

为什么一个 VLA “吃不下” 触觉

按照常见思路，VLA 已经容纳了视觉、语言和动作，再加一份触觉数据似乎顺理成章。

但杨朔团队发现，触觉并不是一块可以直接拼进模型的 “新积木”。它和视觉的信息密度、出现时机与处理速度都完全不同。硬塞进同一个模型，结果很可能不是 VLA 学会触觉，而是触觉被视觉淹没。

触觉首先太稀疏：一个两分钟任务里，真正接触可能只有十几秒；图像是百万级像素，单手触觉却只有几百维。若与视觉、语言同频训练，模型很容易只靠视觉 “偷懒”。

更重要的是，任务规划、动作生成和接触纠错，本就不该共用一个时钟。因此，TouchWorld 没有继续做一个 “什么都管” 的统一模型，而是把系统拆成三个层级。

TouchWorld 因此将系统拆成三个时间尺度：1Hz 的高层负责拆解任务并预测视觉 — 触觉目标；10Hz 的中层根据目标生成主体动作；30Hz 的触觉反应层则根据实时接触和关节状态持续修正动作。慢规划、中速执行、快速纠偏，三层分别处理最适合自己的问题。

慢规划、中速执行、快速纠偏，三层分别处理不同时间尺度的问题。

TouchWorld 三层架构：高层规划并预测目标，中层生成动作，高频触觉反馈实时纠偏。

消融实验也证明，这种分层并非多此一举。完整 TouchWorld 在无扰动和人为扰动场景中的平均成功率分别为 65.0% 和 57.2%。拿掉触觉输入后，成功率降至 43.3% 和 30.0%；拿掉 30Hz 触觉修正层后，则降至 55.3% 和 40.3%，在目标移动或抓握受扰时尤其明显。

去掉 Tactile World Model，成功率降至 60.2% 和 51.2%；去掉子任务规划模块，则降至 55.5% 和 46.2%。

论文还有一个有意思的结果：经过任务阶段监督和记忆增强的 4B 子任务规划模型，准确率达到 91%，反而超过零样本 32B 模型的 84%。

这说明，在层级系统里，单纯把模型做大未必最有效。让模型知道任务进行到哪一步、之前做过什么，以及下一步是否能被下游策略执行，可能更加重要。

65% 的成功率当然还谈不上解决灵巧操作，但它至少证明：相比把触觉简单塞进统一策略，明确分开 “预测接触” 和 “根据接触快速反应”，确实更有效。

触觉从哪来，

又怎么真正用起来

TouchWorld 不是从零开始的。早在这之前，杨朔团队就在围绕同一个问题往前推进：机器人要学会触觉，首先得有触觉数据；但真实的触觉数据太少，又该怎么把它规模化？

Touch 系列由此产生。团队先用 EgoTouch 把人类操作中的第一人称画面、手部姿态和双手压力同步采下来；随后又通过 TouchAnything 学习视觉与触觉之间的对应关系，让模型有机会从普通视频中推测接触位置和压力分布。

到了 TouchWorld，触觉终于从 “被采集、被预测”，走到了 “真正被机器人使用”：行动前，它用来预测应该形成怎样的接触；行动中，它又成为实时纠错的反馈信号。

这条路线的逻辑很清楚：EgoTouch 负责采，TouchAnything 负责从视频中恢复，TouchWorld 负责让机器人真正用上。

在解决 “触觉数据从哪里来” 之前，杨朔和他的团队就意识到，如今互联网上并不缺人类操作视频：拧瓶盖、切菜、拿杯子、使用工具，这些动作每天都在被相机记录下来。

但普通视频只能拍到手怎么移动、物体怎么变化，看不到手与物体接触时，掌心和指尖究竟承受了多大的压力。

为此，团队搭建了一套穿戴式采集系统：采集者头部佩戴第一人称相机，左右手腕各安装一台近距离相机，同时佩戴双手姿态追踪设备和密集触觉手套。一次操作会被同步记录成多路 RGB 视频、双手 3D 姿态，以及左右手的连续压力分布。

EgoTouch 第一人称视觉 - 触觉数据采集系统。

最终形成的 EgoTouch 覆盖了 208 项操作任务、1891 段交互、超过 20 小时视频、约 210 万帧数据和 1000 余个物体，场景横跨家庭、办公室、工作台、零售和户外环境。

而 TouchAnything 的意义，并非宣布摄像头从此可以完全替代触觉传感器。真正执行精细操作时，机器人仍然需要实时、可靠的触觉硬件。它更像是在解决一个规模化问题：先用有限的真实触觉数据教会模型视觉与触觉的对应关系，再为大量原本没有触觉标注的人类视频补充触觉监督提供可能。

TouchAnything 多视角触觉预测模型架构。模型输入头戴第一人称视角、左右腕部视角和双手 3D 姿态，通过多视角视觉特征融合与姿态感知融合，预测双手压力分布图，从而从纯视觉视频中恢复触觉信息。

但能够 “猜到人手可能感受到了什么”，还不等于机器人会使用这些信息。

这也让 TouchWorld 的出现变得顺理成章。

TouchWorld 中的触觉世界模型，先在 20.2 小时 EgoTouch 人类交互数据上预训练，再使用 10 小时机器人演示数据进行微调。前者让模型接触更多样的人类操作和接触模式，后者则把这些先验适配到具体的机器人灵巧手、触觉传感器和动作空间。

至此，整条技术路线才真正闭合：

EgoTouch 回答的是触觉数据怎么采；TouchAnything 回答的是没有传感器标注的视频，能不能恢复出触觉；TouchWorld 回答的则是机器人如何根据触觉预测目标、生成动作，并在真实接触中完成纠偏。

从记录人类怎么触碰世界，到让机器人学会真正 “碰对”，杨朔团队用了两篇论文，把三个环节一步步接了起来。

没有现成答案，

破晓智能要做一项全栈工程

把 TouchAnything 和 TouchWorld 连起来看，破晓智能的定位才真正清晰：它不是一家单纯做触觉手套的公司，也不是一家只提供人类数据的公司。

在杨朔看来，数据采集设备、触觉硬件和机器人平台都是手段，最终都要服务于同一个目标 —— 训练和迭代能够迁移到真实机器人上的基础模型。

破晓智能的技术路线延续了杨朔过去对 Data-Centric AI 的研究思路。在进入具身智能之前，他长期关注数据质量、噪声处理和训练效率；到了机器人领域，他首先追问的依然不是 “模型还可以怎么改”，而是 “什么样的数据路线，才可能支撑能力持续扩展”。

如果说 TouchWorld 解决的是机器人怎么 “把手碰对”，破晓智能进一步瞄准的是 “整个身体如何移动到位，再把事情做对”。

为此，破晓智能也正在推进更完整的人类数据采集方案。除了第一人称头环和触觉手套，还包括腰带与脚踝柔性绑带：头环记录人看见什么，手套记录手如何接触物体，腰带和脚踝设备则捕捉移动、转身、弯腰、下蹲和踮脚等全身动作。

真实的人类操作，很少只发生在一张固定桌子前。做家务需要在房间中移动，取高处物品需要踮脚，整理地面物品需要下蹲，搬运时还要处理平衡、移动和双手协同。破晓智能希望学习的，不只是 “手怎么抓”，而是人如何在真实空间中移动到合适的位置，再完成接触密集的操作。

但 TouchWorld 并非建立在一套现成、稳定的软硬件平台之上。触觉数据不足，手套存在噪声、漂移和批次差异，高自由度、全掌触觉且足够稳定的灵巧手也很难直接买到。

杨朔团队的工程化能力，让 TouchWorld 不只停留在模型设想，而是真正走到了完整系统和真机验证。市场上没有现成方案，团队就自己改硬件、搭数据管线、训练模型、跑控制闭环；评测体系也需要重新设计任务、采集数据、设置标准和扰动场景，再反复进行真机测试。

TouchWorld 在浇花、抽纸巾等六项真实机器人任务中完成测试。

这也意味着，破晓智能真正要搭建的不是一个单点模型，而是一整套全栈能力：从人类数据采集和触觉数据清洗，到视觉 — 触觉对齐、世界模型训练、灵巧手遥操作、真机策略部署，再到传感器适配和统一评测环境。

目前团队成员已经能够覆盖机械设计、嵌入式开发、数据基础设施、世界模型训练和真机部署等多个环节。这是破晓智能敢于把目标指向全身移动灵巧操作的底气，也构成了它相比单一模型方案更完整的技术壁垒。

单个模型架构可以被追赶，真正难复制的，是数据、硬件、模型和评测体系共同形成的闭环。

接下来，团队计划逐步开源 EgoTouch、TouchAnything 和 TouchWorld 相关的数据、代码与模型，并继续推进五指灵巧手、触觉世界模型和全身移动操作方向的研发。

视觉让机器人知道世界长什么样，触觉让机器人确认自己是否真的改变了世界。

而破晓智能想做的，是让这种能力不再停留在一组传感器读数里，而是成为机器人基础模型的一部分。

TouchWorld

• 论文：https://arxiv.org/abs/2607.07287

• tech blog:https://phanes-lab.github.io/TouchWorld-website/

TouchAnything

• 论文：https://arxiv.org/abs/2605.13083

• 官方项目主页：https://jianyi2004.github.io/TouchAnything-Website/  

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]

本文第一作者朱子瑞为新加坡国立大学四年级博士生，本科毕业于清华大学，研究方向为多模态大模型和后训练优化。通信作者为 TikTok 的 Kanchan Sarkar 和 Kun Xu，以及新加坡国立大学校长青年教授尤洋老师。

文章速览

• 奖励模型（Reward Model, RM）是大语言模型对齐的核心组件，负责为模型输出提供符合人类偏好的评价信号。现有方法各有短板：标量判别式 RM 高效稳定但可解释性有限；生成式 judge 能给出判断理由，却需为每个样本生成长 reasoning，token 与延迟开销显著。

• 本文提出 CAMEL：将奖励建模改造为置信度门控反思 —— 先以单 token 给出初判，置信度足够高直接输出，置信度低才触发 reflection 复核。

• 关键发现：两个 verdict token 之间的 log-probability margin 与判断正确性强相关，可作为 “样本难度” 的零成本信号。

• 效果更强：在 RewardBench、RM-Bench、JudgeBench 上平均准确率 82.9%，较此前最佳提升 3.2%，以 14B 参数超过多个 70B 级奖励模型。

• 成本更低：置信度门控建立更优的准确率 - 成本 Pareto 前沿，简单样本只需 1 个 token，困难样本才进入反思。

• 论文标题：CAMEL: Confidence-Gated Reflection for Reward Modeling

• 论文链接：https://arxiv.org/abs/2602.20670

背景：奖励模型为什么既重要又难？

近期，包括 DeepSeek DSpark/DeepSpec 在内的一批工作，使 “按置信度分配计算” 成为推理系统研究的焦点 —— 计算预算应当集中在真正不确定、真正有收益的位置。而在这批工作之前，CAMEL 已经在奖励建模中系统地实践了同一原则：让模型先评估自身的确定性，再决定是否投入反思。

在 RLHF、RLAIF 等后训练流程中，奖励模型扮演 “偏好裁判” 的角色，为候选回答给出符合人类偏好的评价。它的质量，直接决定大语言模型最终学到怎样的行为。

过去几年，奖励建模沿两条路线发展。一类是 scalar RM：为回答输出标量分数，推理快、训练稳定，但只有一个数字，在事实核查、安全边界等细节上解释力有限；另一类是 generative judge（LLM-as-a-Judge）：先生成判断理由再给出 verdict，更透明也更擅长微妙比较，代价是每个样本都要付出可观的 token 成本与推理延迟。

然而，并不是所有偏好比较都需要 “长思考”：对多数样本，模型可以直接给出可靠判断；真正值得反思的，只是少数不确定、易出错的困难样本。CAMEL 要回答的正是：奖励模型到底什么时候需要 reflection？

方法：CAMEL 的置信度门控反思

CAMEL 的核心思想可以概括为一句话：先给出轻量初判，再由置信度决定是否反思；简单样本直接输出，困难样本才复核。

第一步：单 token 初判。给定问题与两个候选回答，模型先输出初始 verdict（[[A]] 或 [[B]]）。CAMEL 不引入额外的置信度模型，而是直接利用模型自身的输出分布：两个 verdict token 之间的 log-probability margin 越大，模型对判断越有把握；margin 越小，样本越模糊、越困难。

第二步：置信度门控反思。初判置信度高时，直接采纳初判、结束生成；置信度低时，才进入 reflection，围绕安全性、准确性、相关性、完整性等标准重新比较两个回答，给出最终判断。由此，简单样本获得 scalar RM 式的效率，困难样本获得 generative judge 式的细致复核。

 训练上，为了避免反思流于形式、仅仅重复初判，CAMEL 引入 Counterfactual Prefix Augmentation：对每个样本构造强制初判为 A、B 的两个版本，再用 GRPO 训练，奖励只取决于最终 verdict 是否正确 —— 初判正确应当确认，初判错误应当推翻。反思由此成为真正的自我修正机制，且不需要任何额外的人工解释标注。

实验：14B 模型也能成为强奖励模型

CAMEL 基于 Qwen3-14B 构建，在 Skywork Reward Preference 80K 等偏好数据上训练，并在 RewardBench、RM-Bench、JudgeBench 三个主流奖励模型 benchmark 上评测，覆盖聊天、安全、数学、代码等任务类型。

 结果显示：只用单 token 判断的 CAMEL-Fast 在三个 benchmark 上分别达到 90.5%、74.8%、65.2%；对全部样本反思的 CAMEL-Reflection 达到 92.8%、84.2%、71.6%，平均准确率 82.9%，比此前最佳 baseline 高出 3.2%，并以 14B 参数超过 LLaMA-3.1-Nemotron-70B、INF-ORM-LLaMA3.1-70B 等 70B 级奖励模型。

分析：把计算花在真正困难的样本上

置信度确实能区分简单样本和困难样本

分析显示，正确判断集中在高置信度区域，错误判断则集中在低置信度区域 —— 模型自身的置信度是样本难度的可靠指标。这为选择性反思提供了直接依据：只需让低置信样本进入反思。对需要高频调用奖励模型的线上系统而言，省去无差别的长 reasoning 意味着可观的成本收益。

训练本身还带来一个耐人寻味的现象（confidence shift）：CAMEL 训练后，置信度分布整体左移，中位数从 23.2 降至 5.9—— 模型反而变得更保守了。一个可能的解释是，模型在训练中学会了识别对最终判断真正关键的 token，因而在下结论时更为审慎。

反思是真正的自我修正

初判与反思结果的混淆矩阵进一步验证了反思的价值：在 RM-Bench 上，反思纠正了 1565 个初判错误的样本，仅把 332 个原本正确的初判改错，净增益 +1233；在 RewardBench 上净增益同样为正（+77）。反思带来的是可度量的纠错能力，而非形式化的重复推理。

更优的准确率 - 成本折中

调节置信阈值，CAMEL 可以在 CAMEL-Fast 与 CAMEL-Reflection 之间连续调节，部署时可按吞吐、延迟与准确率需求灵活取舍。与 RM-R1-DeepSeek-32B 等强生成式奖励模型相比，CAMEL-Fast 仅用 1 个 token 即可达到可比表现，中等阈值下更能以显著更少的 token 实现超越 ——CAMEL 不是简单地把 reasoning 加长，而是把反思预算集中在最可能带来收益的位置。

总结

奖励模型长期面临效率与表达能力的矛盾：标量模型高效但不透明，生成式 judge 更强但成本高。CAMEL 用 verdict token 的 log-probability margin 作为零额外成本的置信度信号，先给出轻量初判、必要时才反思，并通过 counterfactual prefix augmentation 与 GRPO 让反思真正学会确认或纠错。

最终，CAMEL 以 14B 参数在三个主流评测上取得 82.9% 平均准确率、超越此前最佳 3.2%，并给出可灵活调节的准确率 - 成本 Pareto 前沿。它所体现的原则，如今正被推理系统研究广泛验证：不要让模型无差别地思考，而要把计算花在真正困难的地方。

来自北航、北大、美团的研究团队提出了 Policy Improvement Reinforcement Learning, PIRL，以及对应的落地算法 PIPO。这项工作关注的是大模型 RL 后训练中一个非常基础、但长期被默认跳过的问题：一次更新在当前数据上看起来优化了学习信号，是否就真的说明模型策略变强了？

过去很多 RL 后训练方法主要回答的是：当前这批轨迹该怎么学？

PIRL/PIPO 进一步追问的是：这一步学完之后，模型真的进步了吗？如果进步了，能否进一步巩固这一方向？如果没有进步，甚至带来了负面影响，能否及时削弱或校正这次更新？

• 论文标题：Policy Improvement Reinforcement Learning

• 论文：https://arxiv.org/abs/2604.00860

• 代码：https://github.com/JacckMa/pipo_verl

主要贡献

• 提出 PIRL 这一新的强化学习后训练视角。它不只看当前批次里的奖励、优势估计或教师信号，而是把跨迭代的策略提升本身作为优化目标。

  
  

• 提出 PIPO 这一即插即用的闭环优化框架。PIPO 可以直接接入几乎现有所有的 RL 后训练算法，如 PPO、GRPO、DAPO 和自蒸馏等方法。它不替代原方法中的局部学习信号，而是在其外层加入一层 “回头验证” 机制：对确实带来策略提升的更新方向进行进一步放大，对未能带来提升甚至造成性能下降的更新方向进行抑制、抵消或反向校正。

  
  

• 在数学推理、代码、工具调用和自蒸馏设置下进行验证。实验显示，PIPO 在多种基础算法和任务场景中都带来了一致提升。

背景：RL 后训练已经很强，

但仍然是 “开环” 的

这两年，大模型继续变强的一个关键绝招，就是 RL post-training。

从经典的 PPO，到推理任务里常见的 GRPO、DAPO、GSPO，再到利用模型自身轨迹和反馈进行学习的 OPD 与自蒸馏，方法越来越多，效果也越来越强。它们都在解决一个核心问题：如何把当前这批数据里的奖励、优势估计、执行反馈或教师信号，转化成一次有效的参数更新，探索出新策略。

这些方法当然能推动策略变强，这也是 RL 后训练成为主流范式的原因。但它们大多还有一个共同特点：优化主要发生在当前采样轨迹上。也就是说，算法会认真计算当前这批轨迹该怎么学，却很少显式验证这一步学完之后，新的策略是否真的比过去更好。

这就是本文所说的开环优化。开环并不意味着方法无效，而是说训练过程少了一个关键环节：更新之后的效果验证，以及基于验证结果对上一轮更新方向进行回溯校正。

RL 后训练不能只盯着当前批次里的局部信号，还需要一个跨时间的验证机制，以及能够对历史更新方向进行再加权、抑制或校正的回溯调整机制。

PIRL：把 “策略提升” 本身变成优化目标

论文在理论上证明了：这个目标不会改变最终优化方向。对于固定初始策略，最大化累计策略提升，和最大化最终策略性能是对齐的；也就是说，这种目标改写并没有偏离最终想要的模型能力。

因此，PIRL 并不是否定奖励、优势或教师信号，而是补上它们缺少的一环：更新之后，要验证这一步有没有真的转化成策略提升。

PIPO：让训练过程学会 “回头看”

基于 PIRL，论文进一步提出了 Policy Improvement Policy Optimization, PIPO。它的核心是两步：先让基础算法正常探索，再在下一轮利用策略提升反馈 回头验证这次探索是否真的带来了策略进步。如果新策略相较历史基准表现更好，PIPO 会认为上轮更新方向与策略提升一致，从而进一步放大、巩固这一方向；如果新策略没有带来提升，甚至导致性能下降，PIPO 则会削弱该更新方向的影响，必要时通过回溯校正在优化意义上抵消有害更新。

这一步回答的是：当前这批轨迹该怎么学？

这样一来，PIPO 就可以在 PPO、GRPO、SDPO 等原有方法基础上 即插即用 地加入跨迭代验证。它把单批次内的局部学习信号和批次之间的历史表现联系起来，让每次更新都多一道判断：这次更新之后，模型整体有没有更强？如果变强，就巩固有效的更新方向；如果变弱，就削弱有害的更新影响。 由此，原本开环的 RL 后训练被转化为带有策略提升反馈的闭环优化过程。

实验验证

论文首先在数学推理任务上验证 PIPO。

结果显示，PIPO 接到 PPO、GRPO、GSPO、DAPO 后，平均表现、思考长度都有所提升。

PIPO 不是只对数学推理有效。论文进一步在代码任务和工具调用任务上进行了实验验证。论文还验证了 PIPO 在自蒸馏设置下的提升作用。

结语：RL 后训练需要更好的闭环

过去很多 RL 后训练方法在努力回答一个问题：当前这批轨迹该怎么学？PIRL/PIPO 进一步追问：这一步学完之后，模型真的变强了吗？

这也是本文最核心的观点：RL post-training 不能只盯着当前批次里的奖励、优势估计或教师信号。真正重要的是，每次更新之后，模型有没有产生可验证的策略提升，从而对更新进行动态的强化或者削弱。

PIRL 把 “进步” 本身定义为优化目标。PIPO 则把这个目标变成了一个可以接入现有算法的闭环训练框架。

如果说传统 RL 后训练更像是在不断根据当前信号往前走，那么 PIRL/PIPO 想做的是：让模型每走一步，都回头看一眼，确认自己是不是真的在变强，并进一步巩固有效方向、校正有害影响。