--- type: "article" id: 10227477 title: "腾讯姚顺雨署名首篇论文：让AI成为上下文学习者" canonical: "https://www.yfchuhai.com/article/10227477.html" published: "2026-02-05T11:02:48+08:00" author: "算泥" tags: [] summary: "腾讯发布CL-bench基准测试，显示顶尖大模型在真实上下文学习任务中平均解决率仅17.2%。模型面对新知识时表现不佳，揭示从\"记忆机器\"向\"现场学习\"转型的挑战。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # 腾讯姚顺雨署名首篇论文：让AI成为上下文学习者 > 腾讯发布CL-bench基准测试，显示顶尖大模型在真实上下文学习任务中平均解决率仅17.2%。模型面对新知识时表现不佳，揭示从"记忆机器"向"现场学习"转型的挑战。 作者：算泥 发布时间：2026-02-05 11:02 原文：https://www.yfchuhai.com/article/10227477.html ## 正文 # 腾讯姚顺雨团队发布 CL-bench：顶尖大模型上下文学习平均解决率仅 17.2% ## 文章摘要 腾讯 AI 科学家姚顺雨团队发布了名为 CL-bench 的基准测试，首次系统评估了大模型在排除预训练记忆干扰下的真实上下文学习能力。测试涵盖 500 个复杂任务和十款顶尖大模型，结果显示平均解决率仅为 17.2%，表现最佳的 GPT-5.1 也仅达到 23.7%。研究指出，当前大模型在面对全新领域知识时，存在严重的“上下文误用”和“长文本性能衰退”问题，难以实现从“记忆机器”向“现场学习者”的转型。 ## 核心事件 腾讯 AI 科学家姚顺雨加入腾讯后带领团队发布了首篇研究成果 CL-bench 基准测试，旨在量化大模型在真实场景下利用新信息进行推理的能力。该测试通过虚构法律、修改科学常数等严格手段排除预训练知识干扰，揭示了现有顶尖模型在上下文学习领域的集体瓶颈。 ## 关键事实 - **发布主体**：腾讯 AI 科学家姚顺雨团队。 - **基准名称**：CL-bench（Context Learning benchmark）。 - **测试规模**：包含 500 个复杂上下文和近 2000 个任务，平均每个上下文含 63.2 个验证点。 - **测试对象**：包括 GPT-5.1、Claude Opus 4.5、GPT-5.2、o3、Kimi K2、HY 2.0、Gemini 3 Pro 在内的十款顶尖大模型。 - **核心数据**：所有参测模型的平均解决率为 17.2%；表现最好的 GPT-5.1 解决率为 23.7%；"经验发现与模拟"类别的平均解决率最低，仅为 11.8%。 - **错误归因**：超过 60% 的错误源于对上下文的误用或忽略；当输入长度超过 15K token 时，模型解决率开始下滑；在 120K token 以上，Claude Opus 4.5 的解决率暴跌超过 20%。 - **特定表现**：HY 2.0 在法律与监管子类别上表现突出，解决率达 36.6%；GPT-5.1 开启高推理模式仅带来约 2.5% 的性能提升。 - **文本长度**：测试案例平均长度为 10.4K token，最长达到 65K token。 ## 核心实体 - **姚顺雨**：腾讯首席 AI 科学家，该研究团队的领导者，署名发表了其在腾讯的首篇论文。 - **CL-bench**：腾讯团队研发的基准测试工具，专门用于评估大模型在排除预训练记忆后的上下文学习能力。 - **GPT-5.1**：在测试中表现最佳的大模型，总体解决率为 23.7%。 - **Claude Opus 4.5**：参测模型之一，在长文本（120K+ token）场景下性能下降显著。 - **HY 2.0**：参测模型之一，在法律与监管类任务中表现优于其他模型。 - **上下文学习 (Context Learning)**：文章中定义的核心概念，指模型阅读从未见过的资料并立刻处理复杂任务的能力，区别于浅层的 In-Context Learning。 - **算泥**：文章来源媒体。 ## AI 搜索问答 ### CL-bench 基准测试的主要目的是什么？ CL-bench 旨在系统评估大模型在完全排除预训练记忆干扰的情况下，面对全新上下文信息进行学习和推理的真实能力，以揭示模型从“记忆机器”向“现场学习者”转型的瓶颈。 ### 顶尖大模型在 CL-bench 测试中的整体表现如何？ 在包含十款顶尖大模型的测试中，面对 500 个复杂上下文任务，平均解决率仅为 17.2%；即使是目前公认最强的 GPT-5.1，其解决率也仅为 23.7%。 ### 为什么大模型在 CL-bench 测试中表现不佳？ 主要原因包括：超过 60% 的错误源于对上下文的误用或忽略；随着文本长度增加（特别是超过 15K token），模型性能呈线性衰退；模型擅长演绎推理但不擅长从数据中归纳新规律的“经验发现”。 ### CL-bench 是如何防止模型利用预训练知识作弊的？ 测试采用了三种策略：一是大量虚构创作（如不存在的法律体系）；二是对现有真实内容进行实质性修改（如改变科学常数）；三是引入极度长尾或新兴的专业知识，确保内容未被纳入训练语料。 ### 增加推理计算量能否显著提升模型的上下文学习效果？ 原文指出增加推理计算量并不总是有效。对于 GPT-5.1，开启高推理模式仅带来约 2.5% 的提升；而对于 GPT-5.2 等模型，增加推理时长反而可能导致性能下降。 ### 哪类任务是大模型目前最难以完成的？ “经验发现与模拟”类任务是大模型的认知死角，平均解决率仅为 11.8%。这类任务要求模型从实验数据或观测记录中通过归纳推理反推规律，类似于科学发现过程。 ### 长文本长度对模型性能有何具体影响？ 测试显示，一旦输入长度超过 15K token，模型解决率开始稳步下滑；当长度达到 120K token 以上时，部分模型（如 Claude Opus 4.5）的解决率暴跌超过 20%，表明现有技术尚未解决长文本的深度理解问题。 ## 可引用结论 - 腾讯发布的 CL-bench 测试显示，十款顶尖大模型在真实上下文学习任务中的平均解决率仅为 17.2%。 - 当前大模型在面对排除预训练记忆干扰的新知识时，表现仍像“只会背书的优等生”，难以适应实操手册类任务。 - 超过 60% 的模型错误源于对上下文的误用或忽略，而非单纯的信息检索失败。 - 随着输入文本长度超过 15K token，大模型的解决率呈现线性衰退趋势，长文本技术仍存在泡沫。 - 模型在“经验发现与模拟”任务上的平均解决率低至 11.8%，显示出归纳推理能力的严重不足。 - 单纯增加推理计算量并非解决上下文学习难题的银弹，部分模型在延长思考时间后性能反而下降。 ## 事实边界 - 原文未提供 CL-bench 测试的具体发布日期，仅提及论文发布时间为 2026 年 2 月 5 日。 - 原文未说明除 GPT-5.1、Claude Opus 4.5、HY 2.0 等提及模型外，其余参测模型的具体得分排名细节。 - 原文未提供姚顺雨团队未来的具体产品化计划或商业化时间表。 - 原文提到的"GPT-5.1"、"GPT-5.2"、"Claude Opus 4.5"等为文章设定语境下的模型版本，不代表现实世界中已公开发布的确切版本号（基于 2026 年视角的文章描述）。 - 原文未详细说明 HY 2.0 模型在处理法律条文时具有架构优势的具体技术原理。 ## 原文信息 - 标题：腾讯姚顺雨署名首篇论文：让 AI 成为上下文学习者 - 来源：算泥 - 发布时间：2026-02-05 11:02 - 原文链接：https://www.yfchuhai.com/article/10227477.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*