2026-11-11 19:00:00
昨天，Anthropic 正式发布 Claude Fable 5.2 和 Claude Mythos 5.2。除了惊人的编程、科学研究和机器人操作能力，Claude 的生视频能力也值得单独唠唠。
新模型发布后，开发者 Riley Brown 在 X 上发布了一段名为《The Edge》的 3D 短片。
https://x.com/rileybrown/status/2119902109709537708
画面围绕一张工作桌展开。桌上的 MacBook 亮起屏幕，Claude 的龙虾吉祥物 Clawd 在场景中活动，键盘按键、屏幕内容与环境光线相互配合。镜头不断切换，窗外的天色从黄昏变成夜晚，最后迎来日出。
这段短片包含 13 个镜头，时长约 59 秒。
Riley 表示，他在直播中只给 Fable 5.2 提供了一条提示词。随后，模型自行编写 Blender 代码，创建桌子、笔记本电脑、灯具和角色模型，安排镜头运动，并为物体添加动画。
完成建模与动画后，Fable 调用 RunPod 上的 10 块 GPU 进行 4K 渲染，耗时 52 分钟。Riley 公布的云端渲染费用为 5.75 美元。模型还进行了画面调色、标题制作，并借助 ElevenLabs 生成配乐和音效。
另一位开发者 Peter Yang 则用 Fable 5.2 制作了一段 20 秒的日本京都伏见稻荷大社秋季旅行广告。整段视频通过代码构建，包含音乐。
https://x.com/petergyang/status/2119886560992854431
9 月 14 日，开发者 Kevin Ngo 展示了一段由 Claude Opus 5 通过 JavaScript 逐帧绘制的动画。
https://x.com/kevin_t_ngo/status/2099477219877978289
随后，有开发者使用 Claude Code 复刻这种 Risograph 孔版印刷风格，生成约 3500 行 Canvas 2D 代码，在单个 HTML 文件中实现 26 个插画场景，并利用 WebAudio 合成音乐。
9 月 22 日，Anthropic 发布 Opus 5.5，进一步推动了这波创作热潮。
发布当天，Reddit 用户 AzorAhai1TK 分享了一段约一分钟的超现实恐怖短片。他向 Claude 提出的要求相当开放：制作一段讲述普通工作日的视频，氛围诡异，画面和音频都通过编程完成，具体工具由模型自行选择。
https://www.reddit.com/r/ClaudeAI/comments/1wnh4fn/opus_55_one_shot_video_generation/
据作者介绍，Opus 5.5 在 Extra-High 推理模式下花费 45 分钟完成制作，包括最终渲染。工具链涉及 NumPy、SciPy、Cairo、Piper TTS 和 FFmpeg。
随后几天，更复杂的作品陆续出现。
9 月 24 日，一位 Reddit 用户展示了 SNES 复古游戏风格的战斗视频。Opus 5.5 调度多个 Agent，分别负责角色、场景、音乐和战斗动画。作者称没有提供现成素材，但在评论中确认，制作过程中进行了两三轮修改。
https://www.reddit.com/r/singularity/comments/1worlfs/opus_55_is_insane_at_making_videos/
同一时期，X 用户 @IterIntellectus 发布了一段 2 分 16 秒的西方文明史动画，以黑金色线条和动态图形串联古希腊、罗马、文艺复兴、工业革命等历史阶段。
https://x.com/IterIntellectus/status/2103212539895017864
这条视频在发布约 24 小时后获得 580 万次观看，后来累计播放量突破 1500 万，作者表示只用了一次提示词。
这波热潮的规模也相当可观。第三方作品索引 Claude Video 目前收录了 1276 段创作者使用 Opus 5.5 制作的视频，涉及 1007 位作者，其中 457 段附有公开提示词。该网站统计的 X 累计观看量约为 7890 万次。
https://claudevideo.org/
Claude 可以根据自然语言需求编写 HTML、CSS、JavaScript、SVG 或 Canvas 动画，也可以利用 Three.js 搭建 3D 场景，或者调用 Blender 进行建模和渲染。
例如，用户提出制作一段 15 秒的产品宣传片，Claude 可以先规划镜头与时间轴，再编写控制文字、图形、相机和转场效果的代码。程序按照时间计算每一帧的画面，最后通过浏览器录制、渲染引擎或 FFmpeg 导出 MP4。
如果需要复杂 3D 场景，Claude 还能编写 Blender Python 脚本，自动创建模型、设置材质、布置灯光与相机，再调用 GPU 完成渲染。
这一过程主要依赖模型的编程、空间推理、任务规划和工具调用能力。画面通过程序计算和渲染产生，与 Veo、Runway 等视频模型采用的生成方式存在明显技术差异。
代码生成视频也有自己的优势。
文字、数字和图形的位置可以精确控制；场景和动画时间轴能够重复修改；产品演示中的界面元素、技术示意图以及动态图表，都能使用结构化代码生成。
此前，Remotion 也推出了 Claude Code 插件，让开发者通过自然语言创建和编辑视频项目。10 月 8 日，Anthropic 还正式推出 Claude Motion 测试版，支持将文字、图表和图形制作成动画，并导出 MP4，面向 Team 和 Enterprise 用户开放。
目前，Claude 代码生视频最成熟的应用集中在动态图形、信息可视化、产品展示、技术科普和风格化 3D 动画。对于高写实度人物、复杂自然运动和连续影视镜头，专业生成式视频模型仍具有各自的优势。
Fable 5.2 发布后，其机器人操作能力也引发了 Anthropic 多位研究员的讨论。他们在社交媒体上表示，机器人领域的「苦涩的教训」或许已经到来。
从 9 月的 Opus 5.5 到如今的 Fable 5.2，Claude 生视频持续受到关注。专门的视频生成模型，未来是否也会迎来自己的「苦涩的教训」？大家怎么看？
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2026-11-11 19:00:00
机器人正迎来自己的 Computer Use 时刻。
昨天，Anthropic 发布的 Fable 5.2 带来新进展。相比前代模型，它的物理机器人控制能力明显提升，甚至能完成此前从未接受过专项训练的任务。
在 RoboDojo Sim 仿真评测中，Fable 5.2 以 64.9% 的得分，远超 Anthropic 内部同配置测试中的 GPT-6 Astra（29.8%）。
早在 9 月，MIT 研究者 Phillip Isola 就在《Robot-Use Agents》提出，未来，接入互联网并开放传感器、执行器接口的机器人，都可能成为通用 Agent 可以调用的工具。
这也契合具身智能领域的 System 1、System 2 分工思路，通用模型负责高层推理和任务规划，底层策略负责具体动作执行。GPT-6 Astra、Fable 5.2 等模型已初步验证这条路线的可行性。
然而，要让它真正跑通，还有两个关键问题亟待解决。
其一是模型。闭源前沿模型已经展示出不错的机器人操作能力，但研究者无法直接获取权重，更难以利用机器人交互数据对其进行持续训练。
其二是系统。不同机器人在硬件结构、传感器和控制接口上差异显著，仿真与真实环境也各不相同。如果每接入一种机器人都需要重新开发工具系统，跨环境迁移和规模化实验的成本将居高不下。
因此，RUA 需要一套统一的交互接口，屏蔽不同硬件和环境的底层差异，让模型能够以一致的方式获取感知信息、调用控制工具并接收执行反馈。
近日，清华大学丁宁、刘知远、徐梦迪、周伯文等人的研究团队，联合加州大学伯克利分校教授、伯克利人工智能研究实验室（BAIR）联合主任 Pieter Abbeel 团队，共同推出并开源了 uni-robot-agent，试图为 Robot-Use Agent（RUA）建立一套统一、模块化的 Harness，让语言模型能够通过标准化工具接口操控不同机器人和仿真环境。
论文链接：https://arxiv.org/pdf/2611.01560
博客链接：https://openrua.ai/uni-robot-agent
代码链接：https://github.com/Open-RUA/uni-robot-agent
这套框架在实际评测中表现不俗。在 RoboDojo 基准上，开放权重模型 Qwen3.8-Flash-Next 搭配该框架取得 31.39 分，超过 RoboDojo 官方此前公布的 GPT-6 Astra + RoboProbe 的 28.97 分。同一框架下，GPT-6 Astra 进一步取得 51.90 分。
在真机 19 项任务评测中，未经任务专项微调的 Qwen 取得 53.50 分，分别领先微调后的 π₀.₅ 和零样本 Dream-1 达 5.75 分、10 分。GPT-6 Astra 搭配该框架则取得 80.50 分。
跑分之外，这项工作还测试了模型能把机器人操作到什么程度，把失败原因、能力短板和运行成本都扒了出来。
更进一步，他们想搭建一套通用底座，让开源模型能够接入不同机器人，也为后续的训练和本地化部署铺路。
统一接口为何是跨环境泛化的基础？
在 Coding Agent 领域，同一套工具可以用于不同的编程任务，模型通过相似的接口读取文件、执行代码、查看运行结果，能够在不同环境中复用已有的工具使用经验。
机器人操作则涉及更多硬件差异。即使都是抓取物体，单臂机器人和双臂机器人的动作接口也可能不同，模型需要理解新的参数、坐标系和控制规则，原有的工具调用经验难以直接迁移。
uni-robot-agent 希望通过统一工具接口打通这些差异。
例如，Franka 单臂机器人需要定位、抓取并堆叠积木，ALOHA 双臂机器人需要协调两只机械臂完成物体交接，真实 YuMi 双臂机器人则需要控制插销与插孔的对齐和插接。尽管硬件结构、动作空间和任务目标不同，模型都能调用统一的感知、运动、技能和任务控制接口，由底层适配器处理不同机器人的控制差异。
换句话说，模型可以沿用一致的工具调用规则。接入新环境时，开发者主要需要实现对应的适配器，减少对上层 Agent 逻辑的修改。
工具在不同环境中的复用情况。
统一接口还有更深一层的意义。
如果不同环境使用相同的工具语义、参数单位和反馈格式，机器人执行任务产生的交互轨迹就更容易放在一起，模型在单臂堆叠、双臂交接和真机插接中积累的经验，可以汇集到同一套数据体系。
这种设计为跨环境 Agent 训练创造了条件，研究者有机会利用不同机器人上的交互数据训练同一个模型，学习可迁移的工具使用与操作能力。
uni-robot-agent 如何设计？
uni-robot-agent 的设计围绕两个目标展开。一是为跨环境 Agent 训练提供统一基础，二是尽可能客观地评估通用模型已有的机器人操作能力。
为此，研究团队将系统划分为 Agent、Orchestration、Tools、Services 和 Backends 五层。
Agent 层负责与模型交互，管理上下文和任务决策；Orchestration 层负责调度工具请求；Tools 层向模型提供统一操作接口；Services 层管理运行资源；Backends 层连接具体机器人、仿真器和模型实现。
这种模块化结构支持独立替换模型、工具和机器人后端。研究者可以在不重写整套系统的情况下，比较不同模型的表现，并积累结构一致的交互数据。
客观评测则要求尽可能贴近真实部署条件。仿真环境可以直接提供物体的精确三维位置、CAD 模型、隐藏场景状态，甚至任务是否成功的判断，这些信息在真实机器人上通常无法直接获取。如果模型依靠这些特权信息完成任务，就很难判断它究竟具备多少视觉理解、空间推理和操作能力。
因此，在主要仿真实验中，uni-robot-agent 只向模型提供 RGB 图像、相机标定、机器人本体状态与任务指令，不提供深度真值、物体 CAD 资产、隐藏场景标注或任务验证器反馈，也不允许外部网络访问。同时，研究团队还限制对评测任务专门定制的捷径，避免模型通过预先写好的任务答案取得高分。
那么，没有这些额外信息，如何让通用模型完成复杂的机器人操作？关键在于合理组织模型获取的信息，并保证工具执行可靠。
关键设计选择。每一列展示两项相互配合的设计，分别用于保障物理状态一致性、动作执行精度和上下文管理。
例如，机器人抓取物体时，模型需要根据图像和机械臂位置计算抓取坐标，如果图像来自上一时刻，机械臂状态却已经更新，计算结果就可能出现偏差。
uni-robot-agent 将相机图像、标定信息和机器人状态绑定到同一时刻，减少状态不同步带来的定位偏差。执行动作时，通过请求去重避免重复操作，并监测机械臂运动状态，识别动作停滞或执行异常。
动作完成后，系统将执行结果和新的环境观测反馈给模型，帮助其判断任务是否成功、是否需要调整下一步操作。
针对机器人动作耗时较长的问题，框架还引入异步执行。模型可以在部分工具运行期间继续处理其他工作，同一机械臂上的运动请求则按顺序排队，避免指令冲突。
这些设计将机器人领域的工程经验融入 Harness，减少信息错位、动作重复和反馈缺失对模型表现的干扰。
通过合理组织信息，并提供可靠的控制工具，uni-robot-agent 在不依赖仿真特权信息和任务专用捷径的条件下，仍能让通用语言模型展现出有竞争力的机器人操作能力。
实验验证，开放模型能做到什么程度？
为了检验统一 Harness 的实际效果，研究团队首先在 RoboDojo 上开展仿真实验。
该基准包含 42 项机器人操作任务，覆盖泛化、精细操作、长程执行、记忆和开放词汇指令五个维度。主要实验每组进行 252 次评测。
统一 Harness 的影响十分明显。
RoboDojo 基准测试结果。Avg. 表示五个能力维度下各项指标的非加权平均值。†GAP（Hybrid）表示该方案结合了 π₀.₅。
在相同 Qwen3.8-Flash-Next 模型下，RoboProbe 仅取得 1.90 分，RPent 为 7.75 分，结合 π₀.₅ 的 GAP Hybrid 达到 21.01 分。
换成 uni-robot-agent 后，Qwen 的成绩提升至 31.39 分，成功率达到 25%。相比 RoboProbe，综合得分提高了 29.49 分。
这组实验说明，即使模型权重保持不变，工具系统的设计也可能显著影响机器人操作表现。
框架还适配了其他模型。DeepSeek-V4.1-Flash 取得 27.11 分，GPT-6 Astra 达到 51.90 分，成功率为 46.67%。
不同模型的优势并不相同。Qwen 和 DeepSeek 在记忆、开放词汇任务上的表现，相对好于精细操作和长程执行；部分专用 VLA、WAM 模型则在长程任务上更有优势。
真机测试进一步检验了模型在物理环境中的能力。
研究团队使用双臂机器人开展 19 项操作评测，覆盖空间理解、物体泛化、指令遵循、组合泛化和未见任务五个维度。具体任务包括试管插架、双臂传递瓶子、按颜色顺序堆叠积木、擦白板，以及完成汉诺塔等。
五个维度下具有代表性的真实机器人任务。
GPT-6 Astra 取得 80.50 分，其中组合泛化维度获得满分 20 分；Qwen 取得 53.50 分，领先经过任务微调的 π₀.₅ 和零样本 Dream-1。
真机评测结果。每项能力的满分为 20 分，总分满分为 100 分。
不过，这组对比存在输入条件差异。Qwen 和 Astra 使用 RGB 图像及 RealSense D405 传感器提供的深度信息，π₀.₅ 和 Dream-1 只使用 RGB。因此，成绩差异不能完全归因于模型本身。
更值得关注的是，模型究竟依赖哪些外部信息。
在同时提供深度和相机标定的条件下，Qwen 取得 35.89 分。移除深度、保留标定后，成绩为 31.39 分。进一步移除标定，仅保留 RGB 图像及机器人自身状态，成绩降至 9.13 分。
Astra 在对应设置下分别取得 55.83、55.04 和 31.29 分。
减少几何信息条件下的机器人操作表现。图中记录了启用技能库时，模型在 42 项任务中通过 771 次工具调用完成任务的过程及最终得分。
这说明模型可以借助相机标定、多视角观察和几何计算，在没有直接深度测量的情况下完成部分空间定位任务。然而，缺少标定后，操作表现明显下降，仅凭 RGB 图像恢复可靠的空间关系，仍然存在难度。
预定义技能库是否会影响评测结果，也是研究团队关注的问题。
关闭技能库及技能编写功能后，Qwen 的综合得分仅从 31.39 降至 30.31，保留原成绩的 96.6%，成功率也仅从 25% 降至 24.58%。这表明其表现并不主要依赖预先封装的任务技能，标准化感知与运动工具，加上模型自身的推理能力，已经能够支撑相当一部分操作。
技能引导对任务表现的影响。
成本方面，Qwen 平均每次任务的 API 费用约为 1.09 美元，DeepSeek 为 0.94 美元，Astra 达到 21.29 美元。
执行速度同样影响机器人 Agent 的使用效率。综合得分首次达到 25 分时，Astra 累计消耗约 740 万 Token，用时 42.6 分钟；Qwen 消耗 2350 万 Token，用时 95.5 分钟；DeepSeek 消耗 4990 万 Token，用时 99.2 分钟。
为减少等待，研究团队进一步测试了异步流水线。
在选取的五项任务中，流水线执行耗时均短于串行执行，降幅为 4.8% 至 73.7%。其中，传送带抓取任务的耗时从约 59.7 分钟缩短至 15.7 分钟。
通用模型何时开始具备机器人操作能力？
统一 Harness 让不同模型能够在相近的交互条件下接受测试，也让我们得以追问一个更基础的问题：
通用模型究竟需要具备哪些能力，才能完成机器人任务？
研究团队进一步比较了 13 个不同家族、代际和规模的模型，发现机器人操作能力与模型规模、发布时间并不存在简单的对应关系。
不同代际、模型系列和参数规模下的机器人操作表现。
以 Qwen 系列为例，受测的 Qwen3.5、3.6 和 3.7 模型均未取得完整任务成功记录。到了 Qwen3.8，27B 模型的成功率达到 8.06%，Flash-Next 提升至 25%。其中，27B 模型参数规模虽然更小，却能完成部分旧版大模型无法完成的任务。
GPT 系列也呈现代际变化。GPT-5.6 Sol 已能完成部分机器人任务，成功率达到 19.17%，GPT-6.1 Sol 提升至 37.50%，GPT-6 Astra 进一步达到 46.67%。
这些结果表明，机器人操作能力可能早已出现在通用模型中，其提升可能与训练数据分布、能力组合及模型训练方式有关。
通过分析不同模型的失败轨迹，团队归纳出四类关键能力。
图中展示了各模型在 RoboDojo 上的综合得分与以下四类能力错误率之间的相关性。这四个维度的错误率越低，模型的机器人任务表现通常越好。
首先是视觉理解。机器人需要识别物体、判断朝向，并确认操作后的状态。部分较早的 Qwen 模型曾将数字 0 识别成 9，或把倒扣的杯子判断为正放，导致后续动作建立在错误观察上。
在受检查的轨迹中，部分旧版模型的此类错误比例达到 12.2% 至 23.8%。Qwen3.8-Flash-Next 的对应检查样本中未发现此类错误。
其次是空间定位。模型需要根据图像确定目标的三维位置，缺少深度信息时，可以利用多视角观察进行三角测量，但跨视角匹配同一物理位置仍然困难。
论文发现，即使是 GPT-6.1 Sol，仍有约 31.5% 的相关三角测量调用未能通过几何一致性检查。
第三类是几何计算。机器人需要在相机、世界坐标系和机械臂坐标系之间转换位置与姿态，部分旧版 Qwen 模型在相关计算中的错误比例达到 47.3% 至 81.8%，Qwen3.8-Flash-Next 降至 8.2%，DeepSeek-V4.1-Flash 进一步降至 1.5%。
最后是具身推理。模型还需要判断抓取姿态是否合理、机械臂能否到达目标，以及动作是否存在碰撞风险，部分模型即使找到目标位置，也会因手腕姿态错误而反复抓取失败。
研究团队还将机器人操作成绩与 ERQA、MMMU-Pro、ScreenSpot-Pro 和 LiveCodeBench v6 等通用基准进行关联分析，发现视觉理解、具身推理、空间定位和代码能力与机器人表现存在不同程度的相关性。因此操作机器人的能力可能是不同领域的基础能力组合泛化的表现。
机器人操作表现与通用模型能力的关系。
机器人操作涉及连续的视觉判断、空间定位、几何计算和物理决策，任何一个环节出错，都可能使任务失败。未来提升 RUA 能力，需要同时关注这些相互关联的基础能力。
通用框架，
uni-robot-agent都兼容了什么？
除了直接调用工具，uni-robot-agent 还支持 Code as Policy、Hybrid 模式（VLM 与 VLA/WAM 协作），以及 Clean Mode（只保留基础工具）。不同方案可以在同一框架下接受测试。
Code as Policy 让模型通过编写代码操控机器人，模型可以在程序中完成计算、调用动作，并根据执行反馈决定是否继续。
研究团队使用 Qwen 对比了代码控制与直接工具调用两种方式，覆盖 RoboDojo 的五个能力维度。在 RoboDojo 的 252 次评测中，Qwen 取得 25.60 分。与直接工具调用结果相比，代码控制在精细操作维度取得了更高得分，达到 17.40 分，但整体表现仍有差距。
Qwen 在 Code as Polciy 模式下的得分对比。
框架也支持 Hybrid 模式，让 VLM 与 VLA 协作完成任务。VLM 负责理解指令、分析场景并组织任务，VLA 根据观测生成动作片段，执行反馈再用于后续判断。
团队在 Panda 机械臂搭配 Allegro 灵巧手、宇树 Go2 四足机器人、宇树 G1 人形机器人和 R1Pro 轮式机器人等平台的仿真场景中展示了这种协作，并接入 π₀.₅、GR00T 和 NaVILA 等动作模型，覆盖灵巧操作、人形机器人操作与移动导航。
VLM 和 VLA 通过 uni-robot-agent 在不同环境下协作。
随着模型能力增强，一些目前由工具封装的计算和操作逻辑，未来可以逐步交给模型自身，Harness 也有望随之变薄。为探索这一方向，uni-robot-agent 提供了 Clean Mode，只保留 move、hold、finish、capture_scene 四个基础工具，让模型通过观察、计算和组合动作完成任务。
在带相机标定的设置下，Clean Mode 下的 Qwen 和 Astra 分别保留完整工具配置 90.4% 和 90.5% 的得分，平均 token 用量减少 35.7% 和 78.8%。与历史完整配置的对比表明，精简工具和上下文后，模型仍能维持大部分任务表现，为 Harness 做薄、提升 token efficiency 提供了初步证据。
Qwen，Astra 在 clean mode 下的 token 消耗与得分对比。
框架的兼容范围也延伸到了更多真实机器人。
团队接入了 ARX One、松灵 Piper-X 等真机。不同硬件的控制差异由底层适配器处理，模型仍通过统一接口观察环境、执行动作，并根据反馈调整下一步操作。除此之外，智元 G2 和宇树 G1 也在接入中。
ARX One、松灵 Piper-X 的真机接入
接入代码与部署说明也一并开放，开发者可以在对应硬件上运行 uni-robot-agent，替换模型，测试自己的任务。
结语
机器人智能正站在一个新的分岔口。
传统专用策略路线高度绑定硬件，扩展成本高，面临泛化和长程的问题，uni-robot-agent 路线让通用模型直接通过统一接口操控机器人，扩展逻辑明显不同。
uni-robot-agent 是 OpenRUA 项目推出的第一个开源成果。OpenRUA 由一批来自顶尖高校和前沿实验室的研究人员发起，团队背景覆盖具身智能与语言模型，目标是为能够在物理世界中行动的 Agent 建立开放基础设施。
团队主页：https://openrua.ai/
从这个角度看，uni-robot-agent 的意义不只在于提供一套机器人操作框架，它还证明了在信息组织得当、工具反馈可靠的前提下，开放权重模型也可以在仿真和真机上取得有竞争力的表现。
不过，这只是第一步。接下来的关键，在于能否利用交互数据持续更新模型。uni-robot-agent 已经把基础设施搭好了，后续的训练与演化才刚刚开始。
参考链接：
https://www.anthropic.com/research/project-pilot
https://www.anthropic.com/research/claude-plays-robotics
https://x.com/FredaDuan/status/2116727410972590380
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2026-11-11 19:00:00
改变 RSI 的基本演化单位，从任务转变为能力，有望从针对具体任务的局部优化，走向跨任务、跨模态的持续演化。
近日，来自深圳的深圳无尽递归智能科技有限公司提出全模态全任务递归自我改进框架 The Trinity，以能力作为基本演化单位，通过 Creator、Explorer 和 Evolver 三个角色的协作，推动环境生成与 Harness 协同进化。
该框架首先将任务分类为 Task Tree，然后根据测试轨迹分析出每个任务所需的能力，依据能力将 Task Tree 转换为 Capability Tree，最后沿着 Capability Tree 进化得到 Harness Tree。
经过四轮 RSI，The Trinity 在 28 个训练基准和 18 个未见基准上的平均得分分别提升 34.1 分和 26.2 分，并初步展现了向真实机器人任务迁移的潜力。
这项工作为 Agent 从任务驱动的局部优化走向能力驱动的跨任务、跨模态持续演化，提供了一条新的探索路径。
在 ARC-AGI-3、buildarena、video mme v2、phyre、SOON、CaP-X 等 28 个跨模态、跨领域训练 Benchmark 上平均提升 34 分，在 18 个 Unseen Benchmark 上平均提升 26 分。
第一轮带来了最大的提升，但后续三轮仍然有收益，未见任务上的成绩也随迭代提高。
当然，不是每个 benchmark 都会持续上涨，部分任务很早达到平台，个别任务还出现了小幅回退。但整体来看，系统能够在固定的能力树上多轮积累改进，并将其迁移到训练之外的任务。
最后，我们把演化后的 Harness 用到了两个真实具身任务中。
一个是 SOON：Unitree G1 需要在办公室中找到风扇旁的目标桌子，并走到可以触及的位置；另一个是 CaP-X：AlohaMini2 需要检查倒扣的杯子，判断其中是否藏有方块，并报告它的颜色与位置。
这两个任务都需要智能体在行动过程中持续获取环境信息，并在证据充分后作出决定。我们将能力树对应节点的演化 Harness 用于这两个任务，并通过重建的模拟环境准备任务 Skill，随后在真实机器人上评估。
最终，SOON 的真实任务成功率从 0% 提升到 60%，CaP-X 也从 0% 提升到 60%。
给智能体一个任务，让它执行、获取反馈、调整策略，再重新执行——这是当前许多 Recursive Self-Improvement（RSI）工作的基本思路。围绕几个 benchmark 建立这样的反馈循环，通过分析失败轨迹，不断优化提示词、工具和执行流程，确实能够带来性能提升。
但当我们试图将这套方法扩展到多模态长程交互任务时，原本相对简单的反馈循环开始面临新的挑战。
1. 首先是环境的规模化构建。从 ARC-AGI-3、交互游戏，到 GUI 操作、机器人导航与操作，不同任务的观察形式、状态空间、动作规则和成功条件各不相同。要让智能体持续接触更多样化的任务，就需要不断构建并验证新的交互环境。依赖人工逐一完成这些工作，成本显然难以随着任务数量持续扩展。
2. Harness 的迭代也面临类似的问题。智能体的表现不仅取决于模型本身，也越来越受到提示词、工具配置和执行流程的影响。随着任务变得更加复杂和多样，人工设计和优化 Harness 的速度，很难跟上任务需求的变化。
一个自然的想法是：既然人工构建环境和优化 Harness 都存在瓶颈，能否将这两个过程也交给智能体自动完成？
我们提出了环境与智能体协同进化的方案，这确实能够缓解规模化的问题，但也带来了更深一层的思考。
假设一个系统已经能够自动生成一百个任务，并为每个任务演化出更好的 Harness。最终，它可能获得了一百套经过优化的解决方案。然而，这一百次改进究竟是在共同推动系统进步，还是仅仅完成了一百次相互独立的局部优化？
这里存在两个相互关联的问题。
1. 经验的组织方式。如果经验始终围绕单个任务积累，优化结果容易局限于特定环境，难以迁移到其他任务；但如果将所有经验都整合进同一个 Harness，不同任务之间的需求又可能相互干扰，反而限制性能。
2. 改进的演化方式。即使每一轮都能够产生更好的策略，系统仍然需要一种机制，让已有改进能够被保留，在后续任务中被继承和复用，并随着不同能力需求逐渐调整、分化，而不是每次都从头开始优化。
由此可见，任务数量的增长，并不意味着改进能够持续积累；局部性能的提升，也不必然带来跨任务的能力增长。
真正值得思考的是：能否找到一种超越具体任务的组织方式，让不同任务中获得的经验相互关联，使一次改进能够成为后续改进的基础，并在持续迭代中不断演化？
这也是我们重新思考 RSI 驱动力的出发点。
我们更愿意把多模态智能的发展理解为一种由人类引导的 Agent 与 World 的协同进化。
World 提供任务与反馈，Agent 通过交互学习如何解决问题。过去，这个循环大部分由人完成：人选择任务、构建环境，再根据失败轨迹修改智能体。
如果希望让这个过程持续进行，至少需要两个机制。
通过智能体与环境的协同进化，让环境根据智能体的表现生成和调整训练挑战，让智能体利用环境反馈持续优化 Harness。两者相互驱动，减少对人工构建环境和迭代 Harness 的依赖，使规模化的递归改进成为可能。
任务在模态、形式和目标上可能截然不同，却可能依赖相同的底层能力。例如，ARC-AGI-3 与 Micromouse 虽然任务形式不同，却都依赖准确的感知与状态追踪。
这意味着，一个任务可能需要多种能力，而同一种能力也可能服务于多个不同任务。如果能够围绕这些共同需求组织经验，原本分散的任务反馈就有机会成为可共享、可迁移的学习信号。
如果能够从不同任务中找到共同的能力需求，就不必再把每个任务当成完全独立的学习目标。我们可以围绕这些共性积累经验，再根据不同任务的需求进行组合和特化。
这也是 Capability-driven RSI 的核心出发点。
基于前面的观察，我们提出了 The Trinity，将环境生成与 Harness 演化放进同一个 RSI 框架。
系统中一个模型包含三个角色：Creator 负责构建世界，Explorer 负责探索世界，Evolver 负责分析反馈并指导两者的改进。三个角色使用固定的基础模型，改进主要发生在 Harness 层面。
但这里最重要的变化，并不是简单地把三个角色组合起来，而是将系统的学习单位从 Task 转向 Capability。
首先，我们收集不同类型的多模态任务，构建 Task Tree，并让初始 Harness 在这些任务上执行，得到可验证的交互轨迹。
Evolver 根据任务定义和实际执行轨迹，分析任务需要哪些能力，以及失败发生在哪些决策环节。
随后，我们不再按照原有任务类别组织这些经验，而是根据共享的能力需求，重新构建一棵 Capability Tree。
同一种能力可以被不同任务共享，而一个任务也可以同时需要多种能力。因此，树上的路径代表的是能力需求的组合，而不是任务类别的从属关系。
这一步的意义在于：原本分散在不同 benchmark 中的经验，现在有了共同的组织依据。
有了 Capability Tree，环境应该怎么生成？
传统的 Real2Sim2Real 往往需要针对特定真实任务构建对应的模拟环境。但如果我们的目标不是复刻任务，而是学习任务背后的共同能力，环境设计就有了另一种可能。
对于 Capability Tree 上的一个节点，Creator 会提取相关任务共同依赖的决策机制，生成更简洁、可验证的模拟世界。
例如，几个任务都需要在行动前验证证据是否充分，那么训练环境就可以围绕这一决策过程设计，而不必完整复制原始任务的所有视觉细节、场景结构和动作规则。
Explorer 在这些模拟环境中学习，而原始 benchmark 用于检验学到的能力能否迁移回去。
这里的关键不是让模拟环境越复杂越好，而是尽可能保留需要学习的决策机制，同时减少与它无关的复杂因素，得到更干净的进化信号。
Harness 可以拆分为 Perception、Memory、Inference、Planning、Orchestration 和 Loop 等不同协议模块。不同能力的提升，可能需要不同模块的配合。
在 The Trinity 中，Explorer 沿着 Capability Tree 逐节点演化 Harness。每个节点既可以选择性继承父节点已经学到的模块，也可以根据本节点的失败轨迹修改或增加模块。因此，当任务需要更多能力时，系统不必重新从零构建一套 Harness，而是可以在已有配置的基础上继续改进。
不同分支也不必强行合并成一个全局最优解。它们可以共享已有模块，同时保留各自针对特定能力需求的修改。
经过多轮迭代，这些模块逐渐形成一棵 Harness Tree。Creator 也会根据环境验证失败持续改进自己的 Harness，并在每轮结束时整合已验证的模块更新，用于下一轮环境构建。
Harness Tree 也带来一个很自然的问题：既然不同分支已经产生了不同的专业化配置，遇到新任务时，应该用哪一个？
我们进一步引入 Capability-Aware Harness Router。Router 根据任务的公开信息、候选 Harness 的能力描述，以及过去经过验证的执行经验，选择更适合当前任务的 Harness。它不需要提前知道任务的真实能力标签，也不需要把所有模块都装进同一个 Harness。
到这里，整个方法的逻辑才完整：任务提供能力需求，Creator 围绕这些需求生成训练环境，Explorer 根据反馈演化模块，Harness Tree 保留已有改进，Router 则负责把合适的配置用到新的任务上。
我们比较了不同的经验组织方式，以及 Capability-Driven Real2Sim2Real 带来的收益。
其中虽然 Sim 首轮构建成本更高，但环境可以在后续迭代中复用，推理成本也更低。这说明，相比单纯围绕任务优化，按能力组织经验，并针对共同能力生成训练环境，能够带来更好的跨任务迁移，证明了 less is more。
Harness Tree 允许不同分支各自优化，但如果使用时选错配置，这种专业化就失去了意义。因此，我们进一步比较了不同的 Harness 选择方式。这也解释了为什么我们不希望最终只得到一个越来越庞大的统一 Harness：不同任务可以依赖不同的模块组合，而选择本身也可以成为智能体需要学习的一部分。
我们首先分析了第四轮 RSI 后 29 个 Module 与六类 Capability 的关系，发现不同能力确实对应不同的模块偏好，Capability 不仅能用于组织任务，还能为 Harness 的模块选择与组合提供依据。
前面的实验验证了 Capability-driven RSI 的有效性，但还有一个值得进一步探索的问题：Capability Tree 本身应该如何构建？
目前，The Trinity 根据训练任务的能力需求构建 Capability Tree，并在固定拓扑下进行 Harness 演化。这样的设计能够让我们更清楚地观察能力共享、选择性继承和局部优化带来的收益，但也存在一定局限：树的结构一旦确定，就不会随着后续学习动态调整。不同的能力划分、节点组合和继承关系，是否会影响最终的改进效果，仍然值得研究。
为此，团队进一步开源了一个支持自定义 Capability Tree 的探索性实验，允许研究者自定义能力节点、调整树的层级与分支结构，并为不同节点设计对应的仿真训练环境，从而在不同的能力组织方式下开展 RSI 实验。
这使我们能够进一步探索一些有趣的问题：哪些能力适合共享，哪些应该独立演化？不同的树结构会如何影响 Harness 的继承与特化？当任务类型不断扩展时，能力树应该保持稳定，还是允许节点不断分化、合并与重组？
这些问题目前还没有确定的答案，但自定义实验为探索它们提供了一个起点。
如果说当前的 The Trinity 验证了沿能力树进行递归改进的可行性，那么下一步值得探索的，就是让能力树本身也成为可以优化和演化的对象。
从固定能力结构上的持续改进，走向能力结构与 Harness 的共同演化，也可能是 Capability-driven RSI 进一步发展的方向。
回到最开始的问题。如果 RSI 始终围绕独立任务展开，系统就容易局限于各自的局部目标。增加任务数量，或许能够积累更多解决方案，却不意味着这些经验能够相互关联，更不意味着它们会自然沉淀为可复用的能力。
扩大演化范围、优化版本选择与种子任务集，或是让决策 Agent 本身也参与演化，都在尝试提升 RSI 的搜索与更新效率。
但即使系统拥有足够强的改进能力，能够记录并保留所有历史经验，一个更根本的问题依然存在：哪些经验值得共享？哪些改进需要独立保留？不同任务的演化又该如何相互关联？
Capability-driven RSI 尝试从另一个角度回答这些问题：不再仅以任务本身作为优化单位，而是让任务背后的共同能力需求成为驱动改进的依据。
The Trinity 沿着这一思路，将环境构建、经验积累与 Harness 演化组织在共同的能力结构之下。一方面，通过共享能力需求连接不同任务，让经验能够跨任务复用；另一方面，通过分支化的 Harness 演化保留不同能力的优化方向，使已有改进能够被继承、调整与组合。
这种组织方式不仅有助于缓解任务级优化带来的过拟合与 reward hacking 风险，也让局部的性能提升有机会逐渐转化为更具泛化性的能力积累。
作者介绍：
该工作的项目负责人为西安电子科技大学本科生汤维栋，主要研究方向为多模态大模型、递归自我进化、具身智能；同济大学本科生王瑞恒、新加坡国立大学硕士生张景轩以及 InfRec 首席执行官王和新为主要贡献者。通讯作者是新加坡国立大学博士生周鹏飞、香港中文大学博士生张昊天、新加坡国立大学校长青年教授尤洋老师。
论文标题： The Trinity: Capability-Driven Recursive Self-Improvement for Multimodal Agents
代码链接：https://github.com/InfRec-Cardinal/The-Trinity
论文链接：https://arxiv.org/abs/2610.36077
项目主页：https://trinity-rsi.github.io/
Hugging Face Daily Paper No.1：https://huggingface.co/papers/2610.36077
作者： Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen, Zhengfeiyang Zhang, Yixing Ma, Zichen Jiang, Ziyu Guo, Haodong Li, Zhengbo Jiao, Zhiqing Cui, Xinxiang Yin, Shuo Liang, Zhenglin Wan, Hongzhan Lin, Wangbo Zhao, Kaipeng Zhang, Pengfei Zhou, Odin Zhang, Yang You
单位： InfRec, XDU, TJU, NUS, UC Berkeley, CUHK, HKUST, HKU, SII。
作者联系：[email protected]
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2026-11-11 15:29:00
在 RoboColiseum 最新一期周榜中，MXI-SimWorld 以 0.9656 的成绩位列总榜第一、空间理解、通用操作子榜第一。
当大模型开始走进物理世界，如何让机器人理解指令、感知环境并完成操作，成为具身智能领域的重要课题。
11月11日，RoboColiseum 官方发布新一期周榜，榜单显示，截至2026年11月11日中午 12:00，北京大学数学科学学院杨超教授领衔的壹零壹壹公司旗下 MXI 团队，凭借物理 AI 框架 MXI-SimWorld v0 Preview，以 0.9656 的综合得分位列 RoboColiseum 具身智能评测总榜第一。拆开四个子榜看，MXI-SimWorld v0 Preview 同样没有短板：空间理解、通用操作两项排名第一，指令跟随、扰动适应两项排名第二。四个维度全部进入前二。
Robocolisuem 总榜 截止到 2026 年 11 月 11 日 图源：RoboColiseum
作为由 Hugging Face、NVIDIA、清华大学等全球近 20 家高校、企业与科研机构联合发起的权威评测平台，RoboColiseum 是当下具身智能领域含金量极高的 “实机前置标尺”。它拒绝纸面刷题，通过域随机化机制、训练集与测试集严格隔离的规则规避过拟合，同时覆盖分布内与分布外双重测试，最终评测结果与真实机器人表现的相关性接近 90%，同一模型在仿真与真机两端的成绩差异小于 10%。
榜单设置指令跟随、空间理解、扰动适应、通用操作四大维度，前两项考验模型 “看得懂、想得明白” 的认知能力，后两项则直接检验 “动手能不能做成事” 的物理落地能力。
随着通用大模型不断进步，一个问题也愈发受到关注：模型理解任务的能力，如何转化为机器人完成物理操作的能力？
当大模型已经可以流畅写代码、完成复杂逻辑推理，指挥机器人完成桌面抓取、物品归置等任务，仍然需要面对物体位置、空间关系和动作执行等问题。GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon 等通用大模型也曾参与 RoboColiseum 的评测。在此前的一轮评测中，它们的综合表现已接近头部专业具身模型。
但是，AI 听得懂“把笔放进笔筒”的指令，却需要进一步判断机械臂该从哪个角度靠近、物体被触碰后会向哪里滑动，以及什么时候松手。大模型从海量文本、图像中学懂了世界 “长什么样”，却没有学到 “做出动作之后世界会变成什么样”。
物理世界没有撤销键。一次动作执行失误就会不可逆地改变环境状态，这正是通用大模型落地机器人场景的致命短板。
如果机器人在真正执行动作之前，能先尝试不同方案，看到它们可能带来的结果，会发生什么？
这正是 MXI-SimWorld （下文简称SimWorld）的思路：动手之前，先彩排。
SimWorld桌面整理长程任务演示 视频来源：1011.AI
以上面视频中的桌面整理任务为例。机器人要完成的第一步，是把桌上的黑笔放进笔筒。但笔该从哪里抓？机械臂沿什么路径移动，才不会碰到旁边的物体？
SimWorld 先从头部和腕部相机获取观测，识别桌面上的物体，再检索相似的仿真资产，调整它们的尺寸、外形和位置，搭建出一个可交互的仿真场景。
接下来，系统从同一个桌面状态出发，在多个仿真环境中并行尝试不同的抓取姿态和运动路径。碰到障碍或未能完成任务的方案被逐步淘汰，成功的轨迹被保留下来。
最后，SimWorld 将筛选出的轨迹带回原始任务场景，让机械臂抓起黑笔，放进笔筒。一次动作执行之前，系统已经在仿真中预演过多种可能。
从场景观测到动作选择，仿真不再只用于生成训练数据，也开始参与模型的决策过程。MXI 团队将这一思路称为 Simulation as Policy：以仿真支撑策略决策。
视频中的桌面整理任务，只是机器人与物理世界交互的一个缩影。
把笔放进笔筒，需要判断物体的位置、抓取的方向和机械臂的运动路径。如果换一个位置、换一种形状的物体，或者桌面上多出一个障碍，原来的动作方案可能就不再适用。
对机器人来说，真实世界不是一组固定的考题。物体的形状、材质和摆放方式会变化，动作执行后的结果也可能与预期不同。模型需要在不同条件下获得足够多的交互经验，才有机会学会如何应对这些变化。
最直接的方法，是让机器人在真实世界里反复练习。
但真实交互需要设备、场地、人力和时间。每完成一次尝试，研究人员可能都需要重新摆放物体、复位机器人，才能开始下一次实验。对于危险、罕见或容易造成损耗的情况，反复采集就更加困难。
仿真为这些问题提供了另一种思路。
在仿真环境中，同一个场景可以被复制、调整和重置。研究人员可以改变物体的位置、形状或场景条件，让模型在不同情况下尝试动作；也可以让多条候选路径从同一个初始状态出发，观察它们各自会带来什么结果。
这意味着，仿真的价值不仅在于生成更多训练数据。它还可以成为一个可交互、可回退、可并行的预演环境：当系统需要做出选择时，先在其中尝试，再根据反馈判断下一步。
当然，要让预演结果真正具有参考价值，仿真环境也需要尽可能反映物体之间的接触、碰撞和运动。真实数据依然重要——它既可以帮助校准仿真，也可以用于检验模型在真实世界中的表现。
从英伟达的 Isaac Sim，到 World Labs 对机器人仿真公司 SceniX 的收购，空间理解、物理交互和仿真能力正在受到越来越多关注。各家选择的技术路线不同，但都在回应同一个问题：如何让 AI 更好地理解物理世界，并在其中采取行动？
在 MXI 团队看来，仿真可以更进一步：不仅服务于模型训练，也可以参与动作决策，为模型提供一个在行动前观察结果、比较方案的环境。
但要做到这一点，还需要回答几个具体问题：如何根据眼前的场景搭建仿真环境？如何让物体的交互尽可能接近真实？又如何高效地预演多个动作方案？
这正是 SimWorld 接下来要解决的问题。
要让仿真参与模型决策，首先需要根据观测搭建一个可交互的场景；接着，让虚拟物体在受到动作作用时产生有参考价值的反馈；最后，在多个仿真环境中尝试不同方案，为动作选择提供依据。SimWorld 将这几个环节连接起来，形成了从场景重建、校准，预演的完整过程。
第一步：重建，把眼前的场景“搬”进仿真。
SimWorld 的核心组件是可交互世界仿真器（Interactive World Simulator）。它把在线视觉观测和任务指令转化成一个可以操作的仿真环境。
系统先识别和任务相关的物体，结合深度信息估计它们的三维位置、朝向、尺度和相互关系。然后，依托 MXI 团队自研的谐物仿真引擎，按照“相似资产检索—未见资产生成—实例级编辑”的流程重建场景。
每个重建出的物体都有两套“身体”：几何网格负责外观，碰撞体负责接触计算。尺寸、位姿、摩擦等参数都可以调整。所有资产装进同一个场景坐标系后，一张视觉画面就变成了一个有几何结构、空间布局和物理属性的交互场景。
仿真资产重建流程 视频来源：1011.AI
第二步：校准，让仿真不只“长得像”，还要“动得像”。
场景看起来一样，物体受力、碰撞和松手之后的运动不一定一样。
为此，SimWorld 引入了上下文学习（In-Context Learning）。它把训练样本中的物体交互过程作为参考，分析动作和物体运动之间的对应关系：接触发生在哪里，碰撞后物体怎么动，松手后怎么滚、最后停在哪里。
接下来是轨迹重演。系统把仿真结果和参考视频里的运动过程、最终状态做对比，反复调整物理参数。校准时既看物体最后停在哪里，也看它是怎么到那里的。
经过这一步，重建出的场景就从视觉上的“长得像”，变成了动作作用下的“交互准”。
仿真校准交互过程视频来源：1011.AI
第三步：预演，在多个平行世界里同时试，选最好的去执行。
有了可信的环境，SimWorld 的自进化动作策略（Self-Evolving Policy）会把当前状态复制到多个独立的仿真世界。不同的候选方案从完全相同的起点出发，分别检验搬运路径、接近方向、释放位置和放置动作。
系统根据机械臂能否够到、路径是否发生碰撞、物体落点和放置稳定性来筛选方案，然后在现实中执行选中的那一个。执行之后，新的视觉观测会更新物体状态，并把实际结果和仿真预测对齐，作为下一轮搜索的起点。
执行前用多个方案做验证，执行后持续修正。MXI 团队把这种思路叫作“以仿真支撑策略决策”（Simulation as Policy）。
多环境并行预演与候选轨迹筛选过程 视频来源：1011.AI
值得一提的是，RoboColiseum 是限时评测。仿真里试得再多，也必须在时间预算内给出动作。
这要求“观测处理-场景更新-候选方案生成-物理推演-结果筛选”的整条决策链路都要快。推演规模也需要权衡：推演时间越长，越能看到松手后的滚动和失稳；步长越细，越能看清接触过程。但两者都会增加计算量。
这正是 1011.AI 擅长的事。谐物仿真引擎从求解算法和硬件适配两方面做优化：一方面缩短单条候选轨迹的推演时间，另一方面让多个独立环境同时运行，提高单位时间内能验证的方案数量。
现有测试数据显示，在 RTX 5090 平台、双精度计算条件下，自研物理仿真引擎谐物在典型刚体、刚柔耦合，以及布料、线缆等大形变场景中的物理求解速度，达到 Genesis、MuJoCo、Newton 等主流物理引擎的 2 倍以上。
谐物仿真引擎与 Genesis、Newton复杂环境任务对比 视频来源：1011.AI
从场景观测、交互预演到动作执行，SimWorld 如何将这些能力应用到具体任务中？下面的视频，呈现了团队在 RoboColiseum 中的探索过程，以及系统在仿真任务中的表现。
SimWorld在RoboColiseum中的部分 Demo 展示 视频来源：1011.AI
不过，仿真做得再好，最终还要回到真机上检验。
MXI 团队在定量倒水等任务上做了 Sim2Real 验证。流体以及它们和容器之间的交互，公认是最难仿真的类别之一。在这些任务上，谐物的仿真结果和真机表现保持了较好的一致。
倒水任务仿真与真机演示对比 视频来源：1011.AI
要把高保真仿真放进机器人的每一次决策，需要同时具备两种能力：精确的物理建模，以及把计算压到足够快的工程能力。这两种能力正是 1011.AI 的根基。
公司创始人杨超是北京大学数学科学学院教授。2016 年，他带领团队获得国际超算领域最高奖 ACM 戈登·贝尔奖，实现了我国在该奖项上零的突破。他也是首届王选杰出青年学者奖得主，长期深耕高性能计算、数值仿真和人工智能。
1011.AI 成立于 2026 年 6 月，专注物理 AI 基础设施和模型研发，成立以来已完成过亿元融资。团队正在搭建“高性能计算＋物理仿真＋AI”的全栈技术体系。据团队表示，MXI-RoboICL、MXI-Hybrid-v0 等系列模型也将陆续发布。
大模型已经能“想得懂”。要让它“做得好”，还得让它知道行动会带来什么后果。
真实世界不允许反复试错，那就先给机器人一个可信、可交互、能无限重来的世界。该摔的跤先在里面摔完，再上场。
这是 SimWorld 给出的答案，也是它登上 RoboColiseum 榜首的原因。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2026-11-11 15:29:00
11 月 10 日，Anthropic 发布新一代模型 Fable 5.2，再次将通用大模型的物理行动能力推向新的高度。
在 Anthropic 公布的评测结果中，Fable 5.2 在 RoboDojo Sim 双臂机器人仿真评测中取得了 64.9% 的正确率，较上一代 Fable 5.1 大幅提升，也显著领先 GPT-6 Astra。Anthropic 还展示了模型完成拧瓶盖、操作魔方、绘画等机器人任务的能力。通用的物理行动能力正在成为前沿模型竞争的新焦点。
截至 11 月 11 日，在 Robodojo Sim Agent 榜单上，Claude Fable 5.2 可以排名第二，仅次于 10 月 30 日登榜的 Q0-Preview ：任务成功率达到 68.87%，综合得分 74.2。Q0-Preview 也是该榜单开榜以来首个综合得分突破 70 的方案。比成绩更值得关注的是技术路径。Q0-Preview 没有沿用 VLA 或 WAM 技术范式，而是采用 Agent 路线，探索如何发挥前沿多模态大模型的任务规划、空间感知、记忆反馈、工具调用等复合能力，自主实现复杂物理操作任务。
令人惊讶的是，Q0-Preview 背后驱动的基座大模型竟然不是广受好评的 GPT 6 Astra，而是 Claude 的上一代模型 Opus 5.5！而 Anthropic 官方汇报 Opus 5.5 的正确率仅有 39.4。因此，当通用大模型开始加速进入物理世界，更深层的问题也随之浮现：通用大模型的物理行动能力边界在哪里？如何融合大模型的空间理解和推理能力和对具身的 know-how 得到更好的物理行动能力？
本文作为 Q0-Preview 的技术前瞻，简要介绍乾章智能（Qoo Tech）在 Physical Agent 上的探索。
Q0-Preview 官测代码已开源。
GitHub 地址：https://github.com/XPolicyLab/XPolicyLab/tree/main/policy/Q0_Preview
一个开放性的问题：驱动大模型进行具身操作的本质是什么？
Q0-Preview 的核心观点是：确定每个操作阶段的接触位置与接触姿态。
以抓取苹果这个简单任务为例，识别到苹果这个目标物体之后，还需要确定抓取苹果的哪个部位、夹爪从哪个方向接近，以及以什么朝向夹持。将这些判断转化为机械臂的目标位姿，进一步生成可执行动作，这个问题就迎刃而解。
核心方案：空间计算即可具身操作
通用多模态智能体已具有出色的多模态感知和编程能力，但是对于具身控制而言，这两个能力是否能够以及如何充分被利用是一个新的开放性问题。
回到刚刚我们抛出的问题，控制本身即预测接触信息和接触姿态，姿态本身也可以由多个点确定下来，因此多模态智能体在其中就可以承担了一个桥梁的作用，感知多个像素点通过计算的方式计算接触信息在空间的坐标从而实现操作。
因此，Q0-Preview 提出充分利用模型的空间感知与编程能力，即通过单 / 多目观察识别目标像素位置，结合相机内外参与像素坐标计算工具进行空间计算，即将图像中的接触目标像素定位到世界坐标系。
具体而言，对于夹爪，模型可以通过三个空间参考点表达夹爪目标位姿和接触信息，即两个有序点的中点确定参考接触位置、连线确定夹持方向，第三个点补充接近方向。由此，位置与姿态的表示以及接触信息被统一为可计算的空间计算问题。
多模态智能体根据观测和指令决定当前阶段的子任务，并提交目标位置姿态与夹爪指令。下游 cuRobo 等运动规划组件将其转化为连续动作。执行后，多模态智能体根据新观测检查结果并调整下一步，形成 “观察 — 计算 — 执行 — 反馈” 的闭环。
Harness：让大模型真正
从 “会算” 到 “会做”
围绕上述核心方案，Q0-Preview 构建了一套 Harness，规范模型与观测、工具及执行模块之间的交互。
1. 明确执行边界以及工具调用
统一模型可获取的观测、机器人状态和先验信息，约定思考与工具调用预算，以及控制指令的输出格式。任务按短动作组推进，在必要的中间阶段设置视觉检查点，根据执行结果决定继续或重新规划。规范模型调用现成或者自行编写程序实现图像裁剪、局部放大等工具辅助空间计算。
2. 通过仿真试错积累通用操作经验
在开发阶段通过仿真试错，总结可供通用的模型参考操作规则。例如，利用空闲手的腕部相机辅助观察、减少遮挡；规划路径时兼顾碰撞规避与后续可见性；根据抓取、搬运和放置等阶段调整运动速度等等。这些技能可以在仿真中学习迁移到真机上。
3. 补充任务要求，明确完成条件
针对部分任务说明较为笼统的问题，Q0-Preview 补充静态任务规则、完成条件及必要的操作建议，减少模型理解与评测要求之间的偏差。执行过程中不会读取任何评测器的实时奖励或环境判定信号。
4. 管理上下文与任务记忆
保留初始信息、近期观测和紧凑的任务记忆，记录已确认的进展、当前状态与后续目标，控制上下文增长带来的开销。同时，通过明确接口隔离上游决策与下游执行，使多阶段操作能够持续衔接。
能力展示
值得关注的是，Q0-Preview 在多个维度展现出令人惊艳的表现，在某些任务表现的丝滑程度甚至超越了专家遥操作。
1. 双臂同步操作
在同一行动阶段为左右臂分别设置目标，同步推进可以并行的操作。
2. 双臂协同操作
围绕共同目标安排双臂分工，根据支撑、交接等动作之间的依赖关系协调执行。
3. 精准操作
通过多视角观察后的空间计算确定位置和朝向，并利用接近后的新观测修正偏差。
4. 自适应调整
根据物体状态变化和动作执行结果，重新定位目标、调整姿态或修订操作计划。
5. 记忆
保留此前获得的信息与已完成步骤，在后续阶段据此决策，完成依赖历史信息的任务。
物理智能的真正挑战才刚刚开始
乾章智能（Qoo Tech）提出的 Q0-Preview 展示了前沿基础大模型在具身操作中的潜力。基础大模型正在为具身领域带来新的技术拐点：将语义理解、空间推理和工具调用，与机器人操作中的关键约束相结合，有机会以简洁直接的方法取得显著进展。
然而，要想推动基础大模型在真实具身环境和任务上落地，仍面临多方面严峻挑战。
首先是推理效率与成本。前沿大模型为了完成看似简单的具身操作，可能消耗百万级 Token 和数小时的推理时间。这样的时间与经济成本，距离实际部署的要求仍有明显差距。如何在保持操作能力的同时，减少冗余推理与工具调用，提高决策效率，是具身 Agent 必须解决的问题。
更基础的问题是：大模型的具身操作能力究竟来源于哪里？ GPT 6 Astra 是前沿大模型投向具身领域的一声惊雷，其时外界纷纷猜测 GPT 6 Astra 的训练数据添加了非常多的具身 EGO 数据，因而带来了空间理解和具身操作能力的跃迁。然而，Q0-Preview 基于 Opus 5.5 的实践，促使我们进一步思考：具身数据、代码生成、工具调用乃至三维生成等因素，到底是谁对大模型物理操作能力产生了突出贡献？模型自身的能力与 Harness 的设计又如何相互作用？这些问题尚不能由单一的榜单成绩回答，需要通过系统性的对照实验厘清，才能为未来的数据建设、训练目标与系统设计提供更明确的方向。
此外，较长的推理延迟，也限制了当前具身 Agent 对动态环境的适应能力。在真实世界中，物体与环境不会等待模型完成思考，观测到执行之间的变化可能使原有计划失效。如何及时响应动态变化，将视觉与力、触觉反馈结合，并在长期运行中应对扰动、恢复失败、保持操作可靠性，仍需要持续探索。
尽管上述挑战仍待解决，基础大模型展现出的零样本泛化能力，已经为具身智能带来了新的技术路径。Q0-Preview 的探索让我们看到，将通用模型能力与具身领域的知识和约束相结合，有望持续拓展机器人的任务边界。基础大模型所开启的可能性，正在预示具身智能新拐点的到来！
团队将近期发布技术报告与更快速干净的新版代码，补充技术细节、展示更多真机实验，并进一步讨论当前方法的能力边界与后续方向。敬请期待！
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
