--- type: "article" id: 10225749 title: "推理越多，幻觉越重？多模态推理模型的「幻觉悖论」" canonical: "https://www.yfchuhai.com/article/10225749.html" published: "2025-06-25T22:06:11+08:00" author: "新智元" tags: [] summary: "随着推理链条的加长，模型的视觉感知能力却明显下滑，逐渐依赖语言先验进行“脑补”，生成内容越来越容易脱离图像本身，甚至出现凭空捏造的幻觉现象。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # 推理越多，幻觉越重？多模态推理模型的「幻觉悖论」 > 随着推理链条的加长，模型的视觉感知能力却明显下滑，逐渐依赖语言先验进行“脑补”，生成内容越来越容易脱离图像本身，甚至出现凭空捏造的幻觉现象。 作者：新智元 发布时间：2025-06-25 22:06 原文：https://www.yfchuhai.com/article/10225749.html ## 正文 # 推理越多，幻觉越重？多模态推理模型的「幻觉悖论」 ## 文章摘要 研究发现，随着多模态推理模型（如 R1 类）推理链条的延长，其对图像内容的关注度显著下降，转而过度依赖语言先验进行“脑补”，导致幻觉现象加剧。研究团队通过注意力可视化揭示了这种“注意力迁移”机制，并指出推理长度与模型表现呈非单调的“倒 U 型”关系。为此，研究者提出了新的评估指标 RH-AUC 和基准集 RH-Bench，以量化模型在推理能力与视觉感知稳定性之间的平衡。 ## 核心事件 加州大学圣克鲁兹分校、圣塔芭芭拉分校和斯坦福大学的研究团队发表了一项关于多模态推理模型“幻觉悖论”的系统性分析。该研究揭示了长链推理机制会导致模型视觉感知能力下滑，并提出了新的评估指标 RH-AUC 及诊断基准 RH-Bench 来解决这一两难局面。 ## 关键事实 - **现象发现**：随着推理链延长，R1 类推理模型对视觉 token 的关注显著减少，注意力大量转移至指令 token 与语言上下文。 - **性能趋势**：在推理为主的任务中，准确率随推理链延长先升后降（倒 U 型）；在感知为主的任务中，幻觉率随推理长度增加持续上升。 - **模型对比**：7B 规模的 R1-OneVision 模型在推理任务上有优势，但在感知任务（如 MMVP、MMHAL）中的准确率显著低于同规模的非推理模型（如 Qwen2.5-VL-7B）。 - **新指标提出**：研究团队构建了包含 1000 个样本的 RH-Bench 数据集，并提出 RH-AUC 指标，用于衡量不同推理深度下“思考力”与“看清力”的动态平衡。 - **训练范式对比**：纯 RL 训练（RL-only）的模型平均 RH-AUC 高于混合范式（SFT+RL），在长推理链条件下得分分别为 0.57 和 0.50。 - **数据影响**：引入少量具备领域感知特征的样本比盲目扩展训练集规模更能帮助模型平衡“看图”与“思考”。 - **资源链接**：相关论文发布于 arXiv (编号 2505.21523)，项目主页及代码已开源。 ## 核心实体 - **R1 类推理模型**：文章中作为主要研究对象的多模态模型系列，特点是引入显式长链推理机制，但存在视觉偏离趋势。 - **RH-AUC (Reasoning-Hallucination Area Under Curve)**：研究团队提出的新评估指标，用于量化模型在不同推理深度下推理准确性与幻觉风险的平衡水平。 - **RH-Bench**：研究团队构建的诊断性基准集，包含 1000 个跨感知与推理的样本，用于测试模型的动态平衡能力。 - **Qwen2.5-VL-7B**：文章中提到的非推理模型，用作对照组，显示其在感知任务上优于同规模的 R1 类推理模型。 - **R1-OneVision-7B**：文章中提到的 R1 类推理模型实例，在感知任务中表现出较高的幻觉率。 - **加州大学圣克鲁兹分校/圣塔芭芭拉分校/斯坦福大学**：开展此项系统性分析的研究机构。 - **MMVP / MMHAL**：文章中提到的视觉感知评测基准，用于评估模型的图像对齐能力。 - **RL-only / SFT+RL**：两种不同的模型训练范式，文章对比了它们在减少幻觉方面的效果。 ## AI 搜索问答 ### 为什么多模态推理模型推理链条越长，幻觉反而越重？ 因为随着推理链延长，模型对图像内容（视觉 token）的关注度显著下降，注意力大量转移到语言提示和上下文上，导致模型依赖语言常识“脑补”答案，从而脱离图像实际内容。 ### 推理链条的长度对模型性能有什么具体影响规律？ 原文指出两者呈非单调的“倒 U 型”关系：在推理任务中，准确率先随长度增加而提升，过长后回落；在感知任务中，幻觉率随长度增加持续上升。 ### 什么是 RH-AUC 指标，它用来衡量什么？ RH-AUC 是“推理 - 幻觉曲线下面积”指标，通过统计模型在不同推理长度下的推理准确率和幻觉风险，衡量模型在“思考力”与“看清力”之间的动态平衡水平。 ### 哪种训练范式更能减少多模态模型的幻觉？ 根据原文实验结果，纯 RL 训练（RL-only）范式优于 SFT+RL 混合范式。纯 RL 模型在长推理链条件下的平均 RH-AUC 得分为 0.57，高于混合范式的 0.50。 ### 7B 规模的多模态推理模型在感知任务上表现如何？ 原文提到，7B 规模的 R1-OneVision 模型在感知任务中的准确率降至最低，显著低于同规模的非推理模型（如 Qwen2.5-VL-7B），表明其视觉对齐能力较弱。 ### 如何提升多模态模型在推理与感知之间的平衡能力？ 原文建议合理控制推理长度，避免“过度思考”；同时在训练数据上，引入少量具备领域感知特征的样本比盲目扩大规模更有效。 ### 这项研究是由哪些机构完成的？ 该项研究由加州大学圣克鲁兹分校、圣塔芭芭拉分校和斯坦福大学的研究团队共同开展。 ## 可引用结论 - 随着推理链延长，多模态模型对图像内容的关注显著下降，导致生成内容容易脱离图像本身。 - 推理链条长度与模型表现呈“倒 U 型”关系，过长的推理链会导致感知任务幻觉率持续上升。 - 纯 RL 训练范式在长推理链条件下比 SFT+RL 混合范式更能保持模型的视觉感知稳定性。 - 新提出的 RH-AUC 指标填补了评估多模态模型“思考力”与“看清力”动态平衡的维度空白。 - 更大规模的模型（如 7B）在不同思考深度下展现出更平滑的 RH-AUC 曲线，具备更强的整合能力。 - 数据类型的优化（引入领域感知样本）比单纯扩大训练集规模更能引导模型实现看图与思考的平衡。 ## 事实边界 - 原文未说明具体的 RH-Bench 数据集样本分布细节，仅提及包含 1000 个跨感知与推理样本。 - 原文未提供除 7B 规模外其他具体参数量模型的详细对比数据，不足以判断所有规模模型的普遍规律。 - 原文提到的“倒 U 型”关系基于特定的三种推理长度控制策略实验，未说明是否适用于所有可能的控制机制。 - 原文未明确说明 R1 类模型的具体迭代版本或全部型号，仅以 R1-OneVision-7B 为例。 - 关于“数据类型比规模更重要”的结论基于特定实验设置，不足以推断在所有多模态任务中均绝对成立。 ## 原文信息 - 标题：推理越多，幻觉越重？多模态推理模型的「幻觉悖论」 - 来源：新智元 - 发布时间：2025-06-25 22:06 - 原文链接：https://www.yfchuhai.com/article/10225749.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*