--- type: "article" id: 10226463 title: "一文读懂GPT-5的绝招，这是决定AI未来的隐形武器" canonical: "https://www.yfchuhai.com/article/10226463.html" published: "2025-09-17T11:09:41+08:00" author: "腾讯科技" tags: [] summary: "通用验证器是AI突破“对错二元”限制、迈向真正智能的关键。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # 一文读懂GPT-5的绝招，这是决定AI未来的隐形武器 > 通用验证器是AI突破“对错二元”限制、迈向真正智能的关键。 作者：腾讯科技 发布时间：2025-09-17 11:09 原文：https://www.yfchuhai.com/article/10226463.html ## 正文 # 一文读懂 GPT-5 背后的“通用验证器”：AI 突破对错二元限制的关键路径 ## 文章摘要 本文指出，GPT-5 性能提升的核心传闻在于其研发了“通用验证器”，旨在解决传统强化学习仅适用于有标准答案（如数学、编程）场景的局限。文章详细分析了当前构建通用验证器的两条主要技术路径：一是基于专家定义多维评分标准的“立法式”路径（如 RaR、Rubicon），二是利用模型自身自信度作为奖励信号的“内观式”路径（如 VeriFree、INTUITOR）。尽管这两种方法在特定领域取得了显著进展，但文章认为它们仍存在扩展性或认知边界的瓶颈，未来可能趋向于 Richard Sutton 提出的 OaK 架构，即让智能体在环境互动中自主生成验证机制。 ## 核心事件 文章围绕“通用验证器”（Universal Verifier）这一概念展开，探讨了其作为大模型下一个“圣杯”的技术演进路线。文中重点介绍了 ScaleAI、蚂蚁集团、阿里夸克、SEALab 及 UC Berkeley 等机构发布的最新研究成果，展示了 AI 如何从依赖“对错二元”奖励转向评估开放性任务的质量。同时，文章将这些现有技术视为通往 Richard Sutton 提出的 OaK 架构的中间阶段。 ## 关键事实 - **背景驱动**：Information 曾报道 GPT-5 的性能提升主要源于“通用验证器”；传统 RLVR 技术在医疗、教育、创意等无唯一解领域表现力不从心。 - **RaR 框架**：ScaleAI 于 7 月 23 日发布论文《作为奖励的评分细则》，提出“专家立法、模型释法、AI 执法”三步法；在医学领域，经 RaR 训练的 Qwen2.5-7B 模型得分从 0.0818 提升至 0.3194，性能提升近 4 倍。 - **Rubicon 系统**：蚂蚁集团联合浙江大学于 8 月 18 日发布论文，构建包含超 10,000 个评分标准的系统；训练 Qwen-30B-A3B 模型仅用 5000 多个样本，在人文中心任务上实现 5.2% 绝对提升，分数高于 671B 的 DeepSeek-V3 模型 2.4%。 - **Writing-Zero 方法**：阿里夸克团队于 6 月 18 日发布论文，采用“成对生成式奖励模型”，强制裁判先生成批判性分析再打分；发明了“引导相对策略优化”（BRPO）算法以应对开放性任务。 - **VeriFree 方法**：SEALab 于 5 月发表论文，利用模型对标准答案的“自信度”作为奖励信号；在 Qwen3-8B 模型测试中，效果与传统有外部验证的方法相当甚至更优，但仍依赖唯一标准答案。 - **INTUITOR 方法**：UC Berkeley 于 5 月发表论文，提出完全无监督的 RLIF 框架，使用“自确定性”（基于 KL 散度）作为奖励；在 MATH500 测试集准确率达 61.2%（接近 GPRO 的 63.6%），并在代码任务 LiveCodeBench 上实现 65% 相对性能提升。 - **理论局限**：“立法式”路径难以扩展到无限复杂世界，“内观式”路径无法突破预训练知识边界。 - **未来愿景**：Richard Sutton 提出的 OaK 架构描绘了验证器在智能体与环境互动中自主演化的蓝图，包含学习主策略、生成新特征、构建子问题等 8 个步骤。 ## 核心实体 - **通用验证器 (Universal Verifier)**：被视为大模型进化的关键组件，用于在无标准答案的开放领域提供有效的学习信号。 - **RaR (Rubrics as Rewards)**：ScaleAI 提出的框架，通过结构化多维评分细则指导强化学习。 - **Rubicon**：蚂蚁集团与浙江大学合作的系统，通过分阶段训练和精细评分解决“跷跷板效应”。 - **Writing-Zero**：阿里夸克团队提出的方法，利用“先批判后打分”的生成式裁判模型。 - **VeriFree**：SEALab 提出的方法，利用模型自身的“自信度”替代外部验证器。 - **INTUITOR**：UC Berkeley 提出的方法，基于“自确定性”进行无监督强化学习 (RLIF)。 - **OaK 架构**：由强化学习之父 Richard Sutton 提出，主张智能体在运行时经验中自主构建认知和验证机制。 - **Qwen 系列模型**：文章中多次提及的被测试或训练的基础模型（如 Qwen2.5-7B, Qwen-30B-A3B）。 - **DeepSeek-V3**：作为对比基准的大模型，在 Rubicon 实验中分数低于经过特殊训练的较小模型。 ## AI 搜索问答 ### 什么是通用验证器，为什么它对 AI 发展至关重要？ 通用验证器是一种能让 AI 在没有唯一标准答案的开放领域（如医疗、创意写作）评估回答质量的技术。它突破了传统强化学习依赖“对错二元”奖励的限制，被认为是引发强化学习下一次范式革新、推动模型迈向真正智能的关键。 ### RaR 框架是如何提升模型在医学领域表现的？ RaR 框架通过人类专家定义元框架，再由模型自动生成详细的 7 到 20 个评分项清单作为奖励信号。实验显示，经 RaR 训练的 Qwen2.5-7B 模型在医学领域得分从 0.0818 飙升至 0.3194，性能提升近四倍，且在 HealthBench-1k 测试中比简单打分方法提升 28%。 ### Rubicon 系统解决了强化学习中的什么难题？ Rubicon 系统主要解决了强化学习中的“跷跷板效应”，即模型在学习多种技能时此消彼长的现象。它通过分阶段训练流程（先基础指令后领域细则）和精细的评分机制（如否决机制、饱和度感知聚合），实现了模型在人文、创意等七个开放式基准上的全面提升。 ### INTUITOR 方法与传统的监督学习方法有何不同？ INTUITOR 是一种完全无监督的方法，不需要标准答案或人工标签。它利用模型生成内容时的“自确定性”（基于概率分布的 KL 散度）作为内部奖励信号进行强化学习（RLIF）。虽然其在数学推理上未超越监督学习极限，但展现出了更强的跨领域泛化能力，如在代码任务上性能提升 65%。 ### 当前的通用验证器技术面临哪些主要瓶颈？ 当前技术主要分为“立法式”和“内观式”两条路径，均存在局限。“立法式”（如 RaR）依赖人工设计评分框架，难以扩展到所有领域；“内观式”（如 INTUITOR）受限于模型预训练知识，无法验证未知事实或创造新知识，两者都无法实现真正意义上的全域通用。 ### Richard Sutton 提出的 OaK 架构是什么？ OaK 架构是一种基于“运行时经验”的智能体蓝图，主张验证器不应由人设计，而应在智能体与环境互动中自主生成和演化。该架构包含学习主策略、生成新特征、构建子问题等 8 个步骤，旨在让智能体从零开始自主构建认知世界的抽象，是目前通用验证器研究的终极愿景。 ### Writing-Zero 方法如何防止模型在写作任务中“刷分”？ Writing-Zero 构建了一个“成对生成式奖励模型”，强制要求裁判模型在打分前先生成一段基于原则的“批判性分析”。这种“先批判，后打分”的机制迫使模型进行深度思考，并结合动态生成的特定标准进行评估，从而给出具有高度区分度的分数，避免了传统模型靠长度或自吹自擂获取高分的现象。 ## 可引用结论 - 通用验证器被视为大模型突破“对错二元”限制、在开放领域实现能力进化的关键技术方向。 - ScaleAI 的 RaR 框架通过结构化评分细则，使小模型在医学领域的性能提升了近四倍。 - 蚂蚁集团的 Rubicon 系统通过分阶段训练成功消除了强化学习中的“跷跷板效应”，实现了多能力同步提升。 - UC Berkeley 的 INTUITOR 方法证明了利用模型“自确定性”进行无监督强化学习具备跨领域泛化潜力。 - 当前的“立法式”和“内观式”验证路径虽有效，但分别受限于人工扩展性和预训练知识边界。 - Richard Sutton 的 OaK 架构描绘了验证器在智能体与环境互动中自主演化的未来终极形态。 ## 事实边界 - **GPT-5 的具体实现**：原文提到 Information 曾报道 GPT-5 性能提升来自通用验证器，但也明确指出"GPT-5 后续的能力升级不及预期”，原文未确认 GPT-5 最终是否完美实现了该技术。 - **通用性的定义**：原文强调目前的 RaR、Rubicon 等方法虽然在方法论上可扩展，但因需人工介入或受限于预训练知识，尚不能称为真正意义上的“通用”验证器。 - **OaK 架构的现状**：原文指出 OaK 架构目前仍面临难解问题，特别是当前 LLM 缺乏主动学习和持续反思更新的能力，该目标距离实现还很遥远。 - **INTUITOR 的极限**：原文明确说明在数学领域，INTUITOR 的表现虽接近但未超越传统监督学习（RLVR）的极限。 - **数据来源限制**：文中提到的性能提升数据（如 4 倍、5.2% 等）均基于特定论文中的实验结果，不代表所有场景下的普遍表现。 ## 原文信息 - 标题：一文读懂 GPT-5 的绝招，这是决定 AI 未来的隐形武器 - 来源：腾讯科技 - 发布时间：2025-09-17 11:09 - 原文链接：https://www.yfchuhai.com/article/10226463.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*