2025-10-07 18:53:00
机器之心编辑部
刚刚，本年度的诺贝尔物理学奖得主正式揭晓：美国加州大学 John Clarke、美国耶鲁大学 Michel H. Devoret、美国加州大学 John M. Martinis。获奖理由是「发现电路中的宏观量子力学隧穿和能量量子化」。
具体来说，这三位诺贝尔奖得主通过一系列实验证明，量子世界的奇异特性可以在一个大到可以握在手中的系统中具体化。他们的超导电子系统可以从一种状态隧穿到另一种状态，就像直接穿过一堵墙一样。他们还证明，该系统能够吸收和释放特定大小的能量，正如量子力学所预测的那样。
诺贝尔奖颁奖机构在一份声明中表示：「今年的诺贝尔物理学奖为开发下一代量子技术提供了机会，包括量子密码学、量子计算机和量子传感器。」
而 John Clarke 在发布会上回答记者问时表示，得知自己获得该奖项时「完全震惊了。」
「我们根本没有意识到这可能成为诺贝尔奖的基础」，John Clarke 在谈到他们 20 世纪 80 年代在加州大学伯克利分校进行的研究时说道。
一系列开创性的实验
量子力学描述的是单个粒子尺度上的重要特性。在量子物理学中，这些现象被称为微观现象 ，它们甚至比光学显微镜所能观察到的还要小得多。这完全不同于由大量粒子组成的宏观现象。
例如，一个日常球体是由天文数字般的分子构成，它不表现出任何量子力学效应。我们知道，每次把球扔到墙上，它都会反弹。然而，单个粒子有时会直接穿过其微观世界中等效的屏障，出现在另一侧。这种量子力学现象被称为隧穿效应 。
今年的诺贝尔物理学奖表彰了那些展现如何在宏观尺度上观察到量子隧穿效应的实验，这些实验涉及许多粒子。1984 年和 1985 年，John Clarke、Michel H. Devoret 和 John M. Martinis 在加州大学伯克利分校进行了一系列实验。
他们构建了一个包含两个超导体的电路 —— 超导体可以在没有任何电阻的情况下传导电流。他们用一层完全不导电的薄材料将它们隔开。在这项实验中，他们展示了能够控制和研究一种现象：超导体中的所有带电粒子都表现出一致的行为，就好像它们是充满整个电路的单个粒子一样。
这个类粒子系统被困在一种无电压、有电流流动的状态 —— 在这个状态下，它没有足够的能量逃脱。
而在实验中，该系统能利用隧穿效应逃脱零电压状态，并产生电压，从而展现出其量子特性。两位获奖者还证明了该系统是量子化的，这意味着它只能吸收或释放特定数量的能量。
研究发展
这几位诺奖得主拥有数十年来发展起来的概念和实验工具。量子物理学与相对论一起构成了现代物理学的基础，研究人员在过去一个世纪里一直在探索它的含义。
单个粒子的隧穿能力是众所周知的。1928 年，物理学家乔治・伽莫夫（George Gamow）意识到，隧穿效应是某些重原子核倾向于以特定方式衰变的原因。原子核内部力的相互作用在其周围形成一道屏障，将其中的粒子束缚住。然而，尽管如此，原子核的一小部分有时会分裂出来，移出屏障并逃逸 —— 留下一个已经转化为其他元素的原子核。如果没有隧穿效应，这种类型的核衰变就不可能发生。
隧穿效应是一个量子力学过程，其中必然存在概率因素。某些类型的原子核拥有高而宽的势垒，因此原子核碎片可能需要很长时间才能出现在势垒之外，而其他类型的原子核则更容易衰变。如果我们只观察单个原子，就无法预测何时会发生隧穿效应，但通过观察大量同类型原子核的衰变，我们可以测量隧穿效应发生前的预期时间。描述隧穿效应最常见的方式是使用半衰期的概念，即样本中一半原子核衰变所需的时间。
物理学家们很快就开始思考，是否有可能研究一种同时涉及多个粒子的隧穿现象。一种新型实验方法源于某些材料在极冷时产生的一种现象。
在普通导电材料中，电流流动是因为电子可以自由地穿过整个材料。在某些材料中，穿过导体的单个电子可能会被组织起来，形成一种同步的「舞蹈」，流动时没有任何阻力。这种材料就变成了超导体，电子成对地结合在一起。这些电子被称为库珀对，以莱昂・库珀（Leon Cooper）的名字命名，他与约翰・巴丁（John Bardeen）和罗伯特・施里弗（Robert Schrieffer）一起详细描述了超导体的工作原理（ 1972 年诺贝尔物理学奖 ）。
库珀对的行为与普通电子完全不同。电子具有高度的完整性，并且喜欢彼此保持一定距离 —— 如果两个电子具有相同的性质，它们就不能位于同一位置。例如，我们可以在原子中看到这种情况，其中电子将自己分成不同的能级，称为壳层。然而，当超导体中的电子成对结合时，它们会失去一些个性；虽然两个独立的电子总是不同的，但两个库珀对可以完全相同。这意味着超导体中的库珀对可以被描述为一个单元，一个量子力学系统。用量子力学的语言来说，它们被描述为一个波函数 。这个波函数描述了在给定状态和给定性质下观察系统的概率。
如果将两个超导体连接在一起，并在它们之间形成一层薄薄的绝缘层，就会形成约瑟夫森结。该元件以布莱恩・约瑟夫森（Brian Josephson） 的名字命名，他对该结进行了量子力学计算。他发现，当考虑结两侧的波函数时，会出现有趣的现象（ 1973 年诺贝尔物理学奖 ）。约瑟夫森结很快便找到了应用领域，包括对基本物理常数和磁场的精确测量。
这一构造也为以新的方式探索量子物理学的基本原理提供了工具。 安东尼・莱格特 （Anthony Leggett， 2003 年诺贝尔物理学奖获得者 ）就是其中一位，他关于约瑟夫森结宏观量子隧穿的理论工作启发了新型实验。
这个研究团队的成果
这些课题与 John Clarke 的研究兴趣完美契合。他曾任美国加州大学伯克利分校教授，1968 年在英国剑桥大学获得博士学位后，他移居加州大学伯克利分校。在加州大学伯克利分校，他组建了自己的研究团队，专注于利用超导体和约瑟夫森结探索一系列现象。
John Clarke，1942 年出生于英国剑桥。1968 年获英国剑桥大学博士学位。现为美国加州大学伯克利分校教授。
20 世纪 80 年代中期，Michel Devoret 在巴黎获得博士学位后，以博士后身份加入了 John Clarke 的研究小组。该小组还包括博士生 John Martinis。他们共同承担了演示宏观量子隧穿效应的挑战。实验装置必须极其谨慎和精确，才能屏蔽所有可能影响它的干扰。他们成功地改进并测量了电路的所有特性，从而能够对其进行更深入的了解。
Michel Devoret，1953 年出生于法国巴黎。1982 年获法国巴黎第十一大学博士学位。现任耶鲁大学和加州大学圣巴巴拉分校教授。
John Martinis，1958 年出生。1987 年获加州大学伯克利分校博士学位。现为加州大学圣巴巴拉分校教授。
为了测量量子现象，他们向约瑟夫森结通入微弱电流，并测量了电压，该电压与电路中的电阻有关。正如预期的那样，约瑟夫森结上的电压最初为零。这是因为系统的波函数被封闭在一个不允许电压产生的状态。然后，他们研究了系统隧穿出该状态并产生电压所需的时间。由于量子力学包含偶然因素，他们进行了多次测量，并将结果绘制成图表，从中可以读取零电压状态的持续时间。这与原子核半衰期的测量基于大量衰变实例的统计数据类似。
隧穿效应表明，实验装置的库珀对在同步运动中表现得像一个巨型粒子。这几位研究者发现系统具有量子化的能级，进一步证实了这一点。量子力学得名于微观过程中能量被分解成独立的能量包（即量子）这一现象。获奖者将不同波长的微波引入零电压态。其中一些被吸收，系统随后跃迁至更高的能级。
这表明，当系统能量更高时，零电压态的持续时间更短 —— 这正是量子力学的预测。被阻挡在屏障后的微观粒子也以同样的方式运行。
成果的理论和实践价值
这个实验对理解量子力学意义重大。其他类型的量子力学效应在宏观尺度上得到证实，它们是由许多微小的个体及其各自的量子特性组成的。这些微观成分组合在一起，产生了诸如激光、超导体和超流体等宏观现象。然而，这个实验却从一种本身就是宏观的状态中，以大量粒子的共同波函数形式，创造了一种宏观效应 —— 可测量的电压。
安东尼・莱格特（Anthony Leggett）等理论家将诺贝尔奖得主的宏观量子体系与埃尔温・薛定谔（Erwin Schrödinger）著名的思想实验进行了比较。薛定谔将一只猫关在盒子里，如果我们不往盒子里看，这只猫既活着又死了。（埃尔温・薛定谔于 1933 年获得诺贝尔物理学奖 。）他的思想实验旨在揭示这种情形的荒谬性，因为量子力学的特殊性质在宏观尺度上通常会被抹去。整只猫的量子特性无法在实验室实验中得到证实。
然而，莱格特认为，John Clarke、Michel H. Devoret 和 John M. Martinis 进行的一系列实验表明，存在涉及大量粒子的现象，这些粒子的共同行为正如量子力学所预测的那样。由许多库珀对组成的宏观系统仍然比猫小很多个数量级 —— 但由于实验测量的是整个系统的量子力学特性，因此对于量子物理学家来说，它与薛定谔的假想猫非常相似。
这种宏观量子态为利用控制粒子微观世界的现象进行实验提供了新的潜力。它可以被视为一种大规模的人造原子 —— 一个带有电缆和插座的原子，可以连接到新的测试装置或用于新的量子技术。例如，人造原子可用于模拟其他量子系统并帮助理解它们。
另一个例子是 Martinis 随后进行的量子计算机实验，他正是利用了他和其他两位获奖者所展示的能量量子化原理。他使用一个以量子态为信息承载单位的电路 —— 量子比特（qbit）。最低能态和向上的第一步分别表示为零和一。超导电路是未来量子计算机构建过程中正在探索的技术之一。
因此，今年的获奖者不仅为物理实验室带来了实际效益，还为从理论上理解物理世界提供了新的信息。
参考链接
https://www.youtube.com/watch?v=m9FUkAis62s
https://www.nobelprize.org/prizes/physics/2025/popular-information/
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2025-10-07 15:00:00
机器之心编辑部
众所周知，开发者「苦软件漏洞久已」，即使使用模糊测试等传统的自动化方法，也难以发现和将其修复，且耗时耗力。而在 AI 大行其道的当下，用 AI 来修复关键软件漏洞技术与产品也开始涌现，那么，如何才能使得 AI 修复安全代码是值得信任的，答案在于「通过严格的验证」。
近日，DeepMind 最新推出了一种全新的用于代码安全的 AI Agent—CodeMender，它使用 Gemini Deep Think 自动修补关键软件漏洞。它会检查补丁是否正确、是否能够修复根本原因，并且不会引起其他任何破坏。这确保只有高质量的解决方案才会被发送给人工审核。
具体来看，CodeMender 通过一种全面的代码安全方法来帮助解决软件漏洞问题，实现「被动响应」与「主动防御」并重：既能立即修补新的漏洞，也能重写和保护现有代码，并在此过程中消除所有类型的系统性漏洞。
数据显示，在过去六个月开发 CodeMender 的过程中，DeepMind 已经向开源项目上传了 72 个安全修复程序，其中一些修复程序多达 450 万行代码。
通过自动创建和应用高质量的安全补丁，CodeMender 可帮助开发者从繁琐的查找漏洞工作中解脱出来，从而回归本业 —— 专注打造优质软件。
而 CodeMender 一经发布，也引起了一些开发者的关注与讨论。
一位名为 CRISPRKING 的 X 网友认为，CodeMender 的突破不在于发现 bug，而在于确保修复不会破坏其他任何东西，「这是真正的自动化与演示的区别所在。」
另一位网友则认为，CodeMender 的出现将把 QA、安全审计、漏洞赏金的收入都「吃光」。
而据媒体报道，谷歌最近刚刚正式启动了一项专门针对 AI 产品漏洞的奖励计划。而自从谷歌两年前正式邀请 AI 研究人员排查产品 AI 功能滥用风险以来，漏洞猎手们已累计获得超过 43 万美元的奖金。
也有网友对「AI 产生软件漏洞」与「AI 自动修复软件漏洞」的自我博弈产生了兴趣：「我想知道我们是否会陷入一场军备竞赛，一方面 AI 伪装成贡献者（和安全研究人员）试图将漏洞引入流行的库中，另一方面 AI 试图检测并修复这些漏洞……」
事实就是，这是一项开创性的研究，「我们正在进入自我修复软件的时代。」
下面介绍一下 CodeMender 的更多详细信息。
CodeMender 实际操作
CodeMender 的核心运行机制，是借助最新一代 Gemini 深度思考模型的思维能力，构建出一个能自动调试并修复复杂漏洞的 Agent。为此，CodeMender Agent 配备了强大的工具集，使其能在修改代码前进行逻辑推演，并自动验证修改结果，确保修复正确且不会引发其他问题。
CodeMender 修复漏洞的过程
作为研究的一部分，DeepMind 还开发了新的技术和工具，使 CodeMender 能够推理代码并更有效地验证更改。这些技术和工具包括：
高级程序分析：基于高级程序分析技术开发的工具，包括静态分析、动态分析、差分测试、模糊测试和 SMT 求解器。通过系统性地审视代码模式、控制流和数据流，CodeMender 能更精准地定位安全漏洞和架构弱点的根本原因。
多智能体系统：开发的专用智能体，使 CodeMender 能够协同处理底层问题的不同方面。例如，CodeMender 使用一个基于大型语言模型的代码审查工具，能高亮显示原始代码与修改后代码的差异，以验证提议的更改未引起问题，并在需要时进行自我修正。
修复漏洞
为有效修补漏洞并防止其复发，CodeMender 会综合使用调试器、源代码浏览器等工具来精确定位根本原因，并设计补丁。下方视频轮播展示了两个 CodeMender 修补漏洞的案例。
案例 1：识别漏洞的根本原因
这是 Agent 在分析了调试器输出和代码搜索工具的结果后，对 CodeMender 生成的补丁的根本原因进行的推理。
虽然此案例中的最终补丁仅修改了几行代码，但漏洞的根本原因尚不清楚。在本例中，当时的崩溃报告显示是堆缓冲区溢出，但实际问题出在解析过程中对可扩展标记语言 (XML) 元素的堆栈管理不正确。
案例 2：智能体能够创建非平凡补丁
在此示例中，CodeMender Agent 成功构思出一个处理复杂对象生命周期问题的非平凡补丁。
该 Agent 不仅定位了漏洞根源，还修改了项目内一个完全自定义的 C 代码生成系统。
主动重写现有代码以提高安全性
DeepMind 还还赋予 CodeMender 一项能力：主动重写现有代码，引导其采用更安全的数据结构和 API。
例如，部署 CodeMender，将 - fbounds-safety 注释应用于广泛使用的图像压缩库 libwebp 的部分内容。应用此注释后，编译器会在代码中添加边界检查，以防止攻击者利用缓冲区溢出或下溢执行任意代码。
几年前，libwebp 中的堆缓冲区溢出漏洞 ( CVE-2023-4863 ) 被威胁者利用，用于零点击 iOS 漏洞攻击链的一环，而如果当时就应用 - fbounds-safety 注释，那么这个漏洞以及项目中大多数其他缓冲区溢出漏洞，或将永远无法被利用。
下方视频轮播展示了 Agent 决策过程的案例，包括验证步骤。
示例 1：Agent 的推理步骤
在此示例中，要求 CodeMender Agent 解决 bit_depths 指针上的以下 - fbounds-safety 错误：
示例 2：Agent 自动纠正错误和测试失败
CodeMender 的另一个关键功能是能够自动纠正新错误以及任何由其自身注释引起的测试失败。以下是 Agent 从编译错误中恢复的示例。
示例 3：Agent 验证更改
在此示例中，CodeMender Agent 修改了一个功能，然后使用配置为功能等效性的 LLM Judge 工具来验证该功能是否仍然完好。当该工具检测到故障时，Agent 会根据 LLM Judge 的反馈进行自我修正。
不管是从功能介绍来看，还是实例演示来看，CodeMender 的早期成果都是令人鼓舞的，是迈向自动化安全修复的重要一步，但仍需采取谨慎的态度，注重其可靠性。
官方显示，目前所有 CodeMender 生成的补丁在提交到上游之前都会经过人类研究人员的审核。而 DeepMind 表示，未来几个月内将继续分享技术论文和报告，希望最终能够将 CodeMender 发布为所有开发人员的工具，以增强每个人的软件安全性。
参考链接：
https://deepmind.google/discover/blog/introducing-codemender-an-ai-agent-for-code-security/
https://news.ycombinator.com/item?id=45496533
https://x.com/GoogleDeepMind/status/1975185563763327486
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2025-10-07 11:56:00
编辑：Panda
对于大型语言模型而言，生成更长、更复杂的推理链，往往意味着巨大的计算成本。为了解决这一难题，田渊栋团队在 2024 年提出的「连续思维链」 (Coconut) 提供了一种全新的范式，它将推理轨迹保留在连续的隐空间中，而非离散的文字符号。现在，他们与 Stuart Russell 团队的最新合作研究则从理论上回答了一个核心问题：这种高效的推理范式是如何在训练中自发产生的？答案指向了一种关键机制——叠加的涌现 。
大型语言模型（LLM）在许多复杂任务上展现出了强大的推理能力，尤其是在引入思维链（CoT）之后。然而，长思维链在复杂任务中的推理成本极高，因此，近期有不少研究在尝试寻找更高效的测试时扩展方法，以期望更高效地提升模型的推理能力。
一种前景较为可观的方法是田渊栋团队在 2024 年提出的「连续思维链」（Chain-of-Continuous-Thought，简称 Coconut）。与传统的 CoT 不同，连续思维链是将模型的推理轨迹保存在连续隐空间中，而非回投到离散的 token 空间。这种做法不仅在理论上具有多项优势，在实验中也带来了显著性能提升。参阅我们之前的报道《田渊栋团队论文火了！连续思维链优于 CoT，打开 LLM 推理新范式》。
然而，若要让连续思维链更高效、更稳定地扩展到更复杂的推理任务，就必须更深入地理解它的内部机制。
该团队 2025 年的研究《Reasoning by superposition: A theoretical perspective on chain of continuous thought》已从理论上指出，连续思维链的一个关键优势在于它能使模型在叠加（superposition）状态下进行推理：当模型面对多个可能的推理路径而无法确定哪一个是正确时，它可以在连续空间中并行地保留所有可能的路径，而不像离散 token 那样必须选择单一路径。
具体来说，该研究将一类推理任务抽象为有向图可达性（a directed graph reachability）问题 —— 即判断从给定起点节点能否到达目标节点。
他们进一步证明，只需一个两层 Transformer，经过 O (n) 次连续思维解码（其中 n 为图中节点数量），即可通过特定参数构造有效地解决该问题。
因此，一个自然的问题随之而来：梯度下降训练能否自然地收敛出这种结构？我们能否在理论上证明这一点？
近日，田渊栋与 Stuart Russell 两个团队合力，发表了论文《叠加的涌现》，对这个问题给出正面回答。本论文一作 Hanlin Zhu（竺涵林）为加利福尼亚大学伯克利分校（UC Berkeley）电子工程与计算机科学系博士生，此前毕业于清华大学姚班。
论文标题：Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought
Paper：https://arxiv.org/abs/2509.23365v1
具体来说，他们通过对一个简化的两层 Transformer 在「图可达性问题」上的训练动态进行理论分析，将训练过程划分为两个阶段：
思维生成（thought generation）阶段：模型自回归地生成一条连续思维链；
预测（prediction）阶段：模型利用已生成的思维进行最终预测。
值得注意的是，通过对思维生成阶段进行分析，该团队揭示了一个重要现象：即便每个训练样本只包含一个演示样例，叠加（superposition）仍然会在训练中自发涌现。
他们的理论分析与实验结果均表明，当采用连续思维训练（Coconut 方法）时，索引匹配 logit（index-matching logit）（衡量模型局部搜索能力强度的一个关键指标）在温和假设下保持有界（bounded）。这与传统 Transformer 分析截然不同 —— 后者在无连续思维的情况下，logit 会呈对数增长并趋于无界。
一个有界的索引匹配 logit，能在「探索」与「利用」之间维持动态平衡：
若 logit 过小，模型无法有效进行局部搜索，下一步几乎只能随机猜测；
若 logit 过大，模型则会过度自信地锁定某一条局部路径（例如仅凭节点入度等局部特征），从而过早排除真正正确的路径。
而当 logit 保持在适度范围内时，模型既能利用局部结构，又能为多条合理路径分配相近的权重，这便自然形成了叠加式推理（superposition reasoning）。这也回答了之前论文未能解答的问题 —— 为何叠加态会在训练中自发涌现。
这里我们就不深入其理论证明部分了，感兴趣的读者请查看原论文。下面简单看看其实验部分。
实验与结果
为了验证其理论分析的结果，该团队使用了一个 GPT-2 式解码器进行实验，其包含两层 Transformer（d_model=768, n_heads=8）。
该模型是从零开始训练的，优化器为 AdamW（β₁=0.9，β₂=0.95，权重衰减 10⁻²），学习率固定为 1×10⁻⁴，全局 batch size 为 256。数据集则来自 ProsQA 的一个子集。
训练策略方面，按照之前的方法，他们采用多阶段训练，并使用思维链示范进行监督。
在阶段 c，模型学习在预测推理路径上第 c 个节点之前使用 c 个连续思维（即思维生成阶段）。
当 c > l（思维链长度）时，模型在生成 l 个连续思维及 标记后，预测最终答案（即预测阶段）。
训练共 350 个 epoch：阶段 1 训练 150 个 epoch，后续每阶段 25 个 epoch。在每个阶段中，以 0.1 的概率混入之前阶段的数据，以防遗忘。最终模型在测试集上的准确度为 96.2%。
思维生成阶段
为分析 L^coco 下 μ_v 的训练动态，该团队追踪了第二层注意力的 logit 变化。当模型生成第 c 个连续思维时，μ_v 对应于源节点位于 N_c 的边 token 的 logit。
在实践中，L^coco 会鼓励模型聚焦于当前搜索前沿，而非已探索的节点，因此注意力主要集中在「前沿边 (frontier edges)」上，即源节点位于 N_c \ N_{c−1} 的边。
为简化理论分析，该团队假设 μ₂=0，但在实际训练中，模型会对其他边也赋予非零注意力。因此该团队报告的是测试集上前沿边与非前沿边之间的 logit 差值，以更准确反映 μ_v 的有效变化。
结果见图 2。
在阶段 1（蓝色背景）中，模型在预测第一个连续思维（c=1）时，逐步学会了关注前沿边。logit 差值稳步上升，并在约 125 个 epoch 后稳定于 60 附近，与定理 1 的理论预测一致：在 L^coco 下，μ_v 先增长后趋于稳定且有界。
当切换到阶段 2（紫色背景）时，模型在生成第二个连续思维（c=2）时所需的收敛 epoch 大幅减少。更有趣的是，这种模式可推广至 c=3 和 c=4，尽管模型从未显式训练生成超过两个思维。
这种「长度泛化（length generalization）」表明：一旦叠加态在早期阶段涌现，后续阶段便能快速复用它，进一步拓展搜索前沿。
该团队还使用了 L^BFS 的变体（COCONUT-BFS 方法）进行对比。与 L^coco 不同，在 c=1 时，注意力 logit 差值没有饱和，而是持续增长到更高水平，这与定理 1 的分析一致。
答案预测阶段
接下来该团队分析了模型如何预测最终答案。根据引理 2，预测依赖两个信号：
残差信号（residual carryover），它将最后一个思维 [t_C] 中已探索的节点以强度 μ_A 传递至答案 token 。具体来说，这对应于第一层从 到 [t_C] 的注意力，用于复制可达节点的叠加状态。
候选提升信号（candidate lift），它以强度 μ_R 提升两个候选节点的 logit。由于 在第一层中复制候选节点，因此第二层从 到 的注意力可视为 μ_R 的智能体。
图 3 展示了两者的训练动态。
一旦进入预测阶段，μ_A 与 μ_R 都迅速上升，并在约 5 个 epoch 后趋于稳定。这与定理 3 的结论一致：μ_A 与 μ_R 以相似速率增长，确保正确候选 c⋆ 的 logit 最高。
与理论中的无界增长不同，该团队在实践中观察到 logit 实际上会趋于平台期。这可能是因为实际训练中，预测阶段仍与思维生成阶段相互作用，而理论假设思维分布固定，以便单独分析 μ_R 与 μ_A 的关系。该团队将这一差异留待了未来研究。
总结
本文研究了在连续思维链训练中叠加态的自发涌现机制。该团队对一个简化的两层 Transformer 在有向图可达性任务上的训练动态进行了系统的理论分析。
结果显示，在温和假设下，索引匹配 logit（衡量模型局部搜索能力的关键指标）在训练过程中会保持有界。
一个有界的 logit 能有效平衡「探索」与「利用」，从而让模型在推理中实现隐式的并行思考，自然产生叠加现象。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2025-10-07 08:07:00
编辑：Panda
OpenAI 今年的开发者大会（OpenAI DevDay 2025）正在进行中。
Keynote 一开场，山姆・奥特曼便分享了 OpenAI 这两年取得的成绩：400 万开发者、8 亿周活 ChatGPT 用户、API 每分钟 60 亿 token 消耗量。
更重要的是，OpenAI 在今年的开发者大会上可真是发布了不少东西，简单总结起来包括：AgentKit、Codex 正式版、ChatGPT 内置应用与 Apps SDK、gpt-realtime-mini、gpt-image-1-mini、Sora 2 API、GPT-5 pro API。
下面具体来看看这些新模型和新工具。
AgentKit
首先，最引人瞩目的便是：AgentKit。
AgentKit 是一套面向开发者和企业的完整工具集，可用于构建、部署和优化智能体（agent）。
这让不少人惊呼：OpenAI 「杀死」了大量创业公司。
OpenAI 为 AgentKit 设计了一些全新的模块化组件，可助力用户更快地开发智能体，包括 Agent Builder、Connector Registry 和 ChatKit。
Agent Builder
乍一看，Agent Builder 的界面与扣子等工作流编排工具非常相似，可让用户可视化地设计工作流。
具体来说，可视化画布 Agent Builder 可用于创建、管理和版本化多智能体工作流；其提供了一个拖拽式的可视化画布，用于组合逻辑节点、连接工具、配置自定义安全护栏。它支持预览运行、内嵌评估配置和完整版本控制，非常适合快速迭代。
Guardrails（护栏）是 Agent Builder 中一个开源、模块化的安全层，用于防止智能体出现意外或恶意行为。它可用于屏蔽或标记个人信息（PII）、检测越狱尝试、应用其他安全机制。Guardrails 可以单独部署，也可通过 Python 或 JavaScript 库集成。用户可以选择是否启用它。
Connector Registry
用于集中管理数据与工具在 OpenAI 产品中的连接方式；其在一个管理面板中整合了 ChatGPT 和 API 的所有数据源，包括预置连接器（如 Dropbox、Google Drive、SharePoint、Microsoft Teams）及第三方 MCP。
ChatKit
一个工具套件，可以将基于聊天的智能体直接嵌入用户的应用或网站，并自定义外观与品牌风格。
目前，ChatKit 已广泛应用于内部知识助手、新员工入职引导、客服支持、研究助手等场景。OpenAI 表示 HubSpot、LegalOn、Evernote、Taboola 等公司都已使用 ChatKit 来增强产品交互体验。
评估
此外，OpenAI 还扩展了评估功能，引入了数据集、trace 评分、自动提示词优化、第三方模型支持等新特性。
OpenAI 表示：「自从 3 月推出 Responses API 和 Agents SDK 以来，我们看到开发者和企业已经在使用它们构建端到端的智能体工作流，例如用于深度研究、客户支持等。Klarna 构建的客服智能体现已处理了全部工单的三分之二，而 Clay 则通过销售智能体实现了 10 倍增长。而 AgentKit 正是在 Responses API 的基础上构建的，可以帮助开发者更高效、更可靠地构建智能体。」
强化微调
强化微调（RFT）让开发者能够定制 OpenAI 的推理模型。目前它已在 o4-mini 模型上全面开放，并在 GPT-5 上进入私测阶段。OpenAI 表示正与数十家客户合作，持续完善 GPT-5 的 RFT 体验。
OpenAI 介绍了此次在 RFT 私测中新增的两项关键功能：
Custom tool calls：可让模型学会在合适时机调用正确工具，提高推理效率；
Custom graders：可让用户自定义评估标准，从而聚焦最关注的性能指标。
价格与可用性
从今天起：
ChatKit 与全新的评估功能已对所有开发者全面开放
Agent Builder 进入公开测试（Beta）
Connector Registry 正在逐步向部分 API、ChatGPT Enterprise 和 Edu 客户开放测试，Connector Registry 需要通过 Global Admin Console 启用（供全局管理员管理域名、SSO、多组织 API 等）。
以上所有工具均包含在标准 API 模型定价中。
OpenAI 表示，计划在不久的将来为 ChatGPT 增加独立的 Workflows API 与智能体部署选项。
Codex 正式版
今天，CodeX 正式版（General Availability）上线，并带来了三项全新功能：
全新的 Slack 集成：用户现在可以像与同事交流一样，在团队频道或线程中直接向 Codex 分配任务或提问。
Codex SDK：可将驱动 Codex CLI 的同款智能体嵌入用户自己的工作流、工具或应用中，在 GPT-5-Codex 上实现最先进性能，无需额外微调。
全新的管理员工具：通过环境控制、监控与分析面板，ChatGPT 工作区管理员可以更好地掌控 Codex 的使用和运行。
自从今年 5 月 Codex 云端智能体（Codex cloud agent）以研究预览版推出以来，Codex 已稳步演进为一个更可靠、更强大的编码协作伙伴。
现在，用户可以在所有编码场景中使用 Codex（编辑器、终端、云端）都通过 ChatGPT 账号互联。
OpenAI 还介绍了 Codex 的用户增长情况：自 8 月初以来，Codex 的日活跃使用量增长了 10 倍以上，而 GPT-5-Codex 也成为增长最快的模型之一，在上线后短短三周内就处理了超过 40 万亿 token。
如今，Codex 已被全球不少开发者广泛采用 —— 从 Duolingo、Vanta 这样的初创公司，到思科、乐天这样的企业巨头。OpenAI 表示：「在 OpenAI 内部，Codex 也已成为我们研发流程中不可或缺的一部分：从 7 月时的一半工程师使用，到现在几乎所有工程师都在用。他们每周合并的 PR 数量增加了 70%，而 Codex 会自动审查几乎所有 PR，在问题进入生产环境前就能发现关键缺陷。」
ChatGPT 内置应用与 Apps SDK
OpenAI 还正式发布 ChatGPT 新一代可对话应用（Apps）。用户现在可以直接在 ChatGPT 聊天界面中与这些应用交互。
这些应用可与 ChatGPT 的对话体验无缝融合。用户可以在对话中被智能推荐到合适的应用，也可以直接「呼叫」它们的名字。这些应用支持自然语言交互，并在聊天窗口中内嵌交互式界面，让体验更直观。
对用户而言，ChatGPT 中的应用会根据用户上下文动态适应，提供创作、学习、任务执行等方面的帮助。
从今天起，除欧盟地区外，所有登录的 ChatGPT 用户（Free、Go、Plus、Pro 版本）均可使用这些应用。首批上线的应用包括：Booking.com、Canva、Coursera、Figma、Expedia、Spotify、Zillow。
开发者也可从今天起，使用全新的 Apps SDK（预览版） 开始构建属于自己的 ChatGPT 应用。
该 SDK 基于 Model Context Protocol (MCP) —— 一种开放标准，使 ChatGPT 能连接外部工具与数据。Apps SDK 在此基础上进一步扩展，让开发者能够同时设计应用的逻辑与界面。
Apps SDK 已经开源。
此外，通过 Apps SDK 构建的应用还可以在恰当的时机触达超过 8 亿 ChatGPT 用户。
OpenAI 计划今年晚些时候把应用功能扩展到 ChatGPT Business、Enterprise 和 Edu 版本。届时也会开放应用提交流程，让开发者能正式在 ChatGPT 上架应用。
他们还将推出一个专属的应用目录（App Directory），用户可在其中浏览、搜索、发现应用。
gpt-realtime-mini
OpenAI 还发布了一个 GPT Realtime 的 mini 版本，可通过 WebRTC、WebSocket 或 SIP 连接实时响应音频和文本输入。以下截图展示了其一些参数和定价信息：
gpt-image-1-mini
另外，OpenAI 也为 GPT Image 1 模型打造了一个 mini 版本。它是一种原生多模态语言模型，可同时接受文本和图像输入和生成图像输出。以下截图展示了其一些参数和定价信息：
Sora 2 API
Sora 是 OpenAI 在生成式媒体领域的最新前沿成果。这是一款最先进的视频生成模型，能够根据自然语言或图像生成具有丰富细节、动态画面与音频的视频片段。
Sora 基于多模态扩散模型（multimodal diffusion）多年研究成果构建，并在多样化的视觉数据上训练，使其在三维空间理解、运动建模和场景连贯性方面具备深厚能力，将文本到视频的生成质量推向新高度。
今天，OpenAI 也首次通过 Video API 首次向开发者开放 Sora 的能力，支持通过编程方式创建、扩展或混合（remix）视频内容。
它包含五个端点（endpoints），每个端点都有不同的功能：
Create video（创建视频）：从提示词开始一个新的渲染任务，可选择性添加参考输入或 remix ID。
Get video status（获取视频状态）：查询渲染任务的当前状态，监控其进度。
Download video（下载视频）：任务完成后，下载生成好的 MP4 文件。
List videos（列出视频）：分页查看你的历史视频记录，用于展示、管理或清理。
Delete videos（删除视频）：从 OpenAI 存储中移除指定视频 ID。
Sora 2 系列目前提供两个变体，针对不同使用场景优化。
Sora 2：注重速度与灵活性，适用于创意探索阶段，注重快速反馈而非极致画质。特点是生成速度快、质量佳，适合快速迭代、概念验证或粗剪阶段。推荐用途：社交媒体内容、产品原型、需要快速产出的项目。
Sora 2 Pro：支持专业级画质，适用于需要高质量视频的场景、可直接用于生产的内容。其渲染时间更长、成本更高，但输出更加稳定、细腻、逼真。推荐用途：高分辨率电影镜头、营销视频、以及对视觉精度要求极高的项目。
GPT-5 pro API
强大推理模型 GPT-5 pro 的 API 也已经上线：
对于 OpenAI 这场正在进行中的开发者大会，你有什么期待？
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2025-10-07 08:07:00
清华大学朱军教授团队， NVIDIA Deep Imagination 研究组与斯坦福 Stefano Ermon 团队联合提出了一种全新的扩散模型强化学习（RL）范式 ——Diffusion Negative-aware FineTuning (DiffusionNFT)。该方法首次突破现有 RL 对扩散模型的基本假设，直接在前向加噪过程（forward process）上进行优化，在彻底摆脱似然估计与特定采样器依赖的同时，显著提升了训练效率与生成质量。文章共同一作郑凯文和陈华玉为清华大学计算机系博士生。
论文标题：DiffusionNFT: Online Diffusion Reinforcement with Forward Process
论文链接：https://arxiv.org/abs/2509.16117
代码仓库：https://github.com/NVlabs/DiffusionNFT
背景 | 扩散模型的 RL 困境
近年来，强化学习在大语言模型（LLMs）后训练中的巨大成功，催生了人们将类似方法迁移到扩散模型的探索。例如，FlowGRPO 等方法通过将扩散采样过程离散化为多步决策问题，从而在反向过程上应用策略梯度优化。然而，这一思路存在多重根本性局限：
1. 似然估计困难：自回归模型的似然可精确计算，而扩散模型的似然只能以高开销近似，导致 RL 优化过程存在系统性偏差。
2. 前向–反向不一致：现有方法仅在反向去噪过程中施加优化，没有对扩散模型原生的前向加噪过程的一致性进行约束，模型在训练后可能退化为与前向不一致的级联高斯。
3. 采样器受限：需要依赖特定的一阶 SDE 采样器，无法充分发挥 ODE 或高阶求解器在效率与质量上的优势。
4.CFG 依赖与复杂性：现有 RL 方案在集成无分类器引导 (CFG) 时需要在训练中对双模型进行优化，效率低下。
因此，如何设计一种既能保留扩散模型原生训练框架，又能高效融入强化学习信号的统一方法，是亟待探索的问题。
方法 | 基于前向过程的负例感知微调
DiffusionNFT 提出了一个全新的思路：把强化学习直接作用于扩散的前向加噪过程，而非反向去噪轨迹。这一设计带来了范式性的转变。
核心机制包括：
正负对比的改进方向：在采样生成中，利用奖励信号将样本划分为正例与负例，从而定义出一个隐式的 “改进方向”。与只使用正样本的拒绝采样微调（Rejection FineTuning, RFT）不同，DiffusionNFT 显式利用负样本信号，确保模型有效 “避开” 低质量区域。
负例感知微调 (Negative-aware FineTuning, NFT)：通过一种巧妙的隐式参数化方式，从目标模型同时定义正向策略与负向策略，将正负分布对比转化为单一网络的训练目标，不需额外判别器或引导模型。
强化指导 (Reinforcement Guidance)：在数学上，DiffusionNFT 将优化目标刻画为对旧策略分布的偏移量 ∆，这一过程与 CFG 类似，但不依赖双模型结构，而是内生于训练目标中。
这样的设计使 DiffusionNFT 同时满足以下优势：
1. 前向一致性：训练目标严格符合扩散的 Fokker–Planck 方程，不破坏与前向过程的一致性，使得训练后的模型仍然是良定义的扩散模型。
2. 采样器自由：训练与采样彻底解耦，可使用任意黑盒 ODE/SDE 求解器，摆脱对一阶 SDE 的依赖；同时在训练时只需存储最终样本与对应奖励值，无需整条采样轨迹。
3. 似然无关：不再需要变分下界或反向轨迹似然估计，训练只依赖生成图像与奖励。
4.CFG-free 原生优化：直接学习到奖励引导的生成能力，避免 CFG 的推理开销，同时仍可兼容 CFG 进一步提升性能。
实验 | 高效性与生成质量
研究团队在多个奖励模型上验证了 DiffusionNFT 的有效性。主要结果包括：
大幅效率提升：在 GenEval 任务上，DiffusionNFT 仅需 1k 步 即可将得分从 0.24 → 0.98，而 FlowGRPO 需超过 5k 步才能达到 0.95。整体上，DiffusionNFT 在不同任务上表现出 3×～25× 的训练效率优势。
CFG-free 场景下显著提升：即便完全不依赖 CFG，DiffusionNFT 也能在美感、对齐度等方面显著优于原始模型。
多奖励联合优化：在 SD3.5-Medium 上同时优化 GenEval、OCR、PickScore、ClipScore、HPSv2.1 等多种奖励，最终模型在所有指标上均超越原始模型，与只针对单一奖励进行优化的 FlowGRPO 持平，并超过更大规模的 SD3.5-L 与 FLUX.1-Dev 模型。
展望 | 向统一的生成对齐范式迈进
DiffusionNFT 的提出，不仅为扩散模型的强化学习提供了一个高效、简洁且理论完备的新框架，也对更广泛的生成模型对齐研究具有启发意义。从语言模型到视觉生成，DiffusionNFT 展示了负例感知 + 前向一致性普适价值。它打破了似然估计与反向轨迹的限制，建立起监督学习与强化学习之间的桥梁。在未来，DiffusionNFT 有望推广至多模态生成、视频生成以及大模型对齐等更复杂场景，成为统一的生成优化范式。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
