--- type: "article" id: 10224223 title: "微软发布Phi-4，最强小模型！参数极小、超GPT-4o" canonical: "https://www.yfchuhai.com/article/10224223.html" published: "2024-12-16T11:12:49+08:00" author: "AIGC开放社区" tags: [] summary: "Phi-4是微软研究院发布的Phi系列第五代模型，拥有140亿参数，尽管参数量小，但在GPQA研究生水平和MATH数学基准测试中分别达到了56.1和80.4的高分，超过了GPT-4o和其他同类型开源模型。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # 微软发布Phi-4，最强小模型！参数极小、超GPT-4o > Phi-4是微软研究院发布的Phi系列第五代模型，拥有140亿参数，尽管参数量小，但在GPQA研究生水平和MATH数学基准测试中分别达到了56.1和80.4的高分，超过了GPT-4o和其他同类型开源模型。 作者：AIGC开放社区 发布时间：2024-12-16 11:12 原文：https://www.yfchuhai.com/article/10224223.html ## 正文 # 微软发布 Phi-4：140 亿参数小模型在数学与推理基准上超越 GPT-4o ## 文章摘要 微软研究院发布了 Phi 系列第五代模型 Phi-4，该模型仅拥有 140 亿参数，却在 GPQA、MATH 及 AMC 等多项基准测试中取得了超越 GPT-4o 及其他大型开源模型的成绩。Phi-4 的性能提升主要归功于使用了约 400B token 的高质量合成训练数据以及针对性的创新训练方法。通过引入多 Agent 提示、自我修订工作流及 Math-Shepherd 工具，该模型在 STEM 领域和编程任务上的准确率显著增强，证明了小参数模型在特定策略下可媲美超大参数模型。 ## 核心事件 微软研究院正式发布了 Phi-4 模型，这是 Phi 系列的第五代产品，主打“小参数、高性能”特性。该模型在多项权威基准测试中得分超过 GPT-4o、Claude 3.5 Sonnet 及 Llama-3.1 等知名模型，展示了高质量合成数据与创新训练流程对模型能力的显著提升作用。 ## 关键事实 - **模型参数**：Phi-4 拥有 140 亿（14B）参数。 - **基准测试成绩**： - GPQA（研究生水平）：56.1 分。 - MATH（数学基准）：80.4 分。 - AMC（美国数学竞赛）：91.8 分。 - **对比表现**：在上述测试中超越了 GPT-4o、GeminiPro 1.5、Claude 3.5 Sonnet、Qwen 2.5-14B、Llama-3.3-70B 等模型；整体性能可与 4050 亿参数的 Llama-3.1 相媲美。 - **训练数据规模**：生成了 50 种不同类型的合成数据集，总计约 400B 未加权的高质量 token 数据。 - **技术调整**：将 rope 位置编码的基础频率增加至 25 万次，并降低了最大学习率以适应更长文本序列。 - **后训练方法**：采用了基于人工标注的 SFT 数据和自动构建的 DPO 对进行强化训练；在 STEM 领域引入了 Math-Shepherd 工具进行验证和强化学习。 - **人员变动**：微软 AI 副总裁、Phi 系列关键人物 Sébastien Bubeck 已离开微软加入 OpenAI。 ## 核心实体 - **Phi-4**：微软研究院发布的第五代小参数语言模型，拥有 140 亿参数，以高性能著称。 - **微软研究院 (Microsoft Research)**：Phi-4 模型的发布机构和研发主体。 - **GPT-4o**：OpenAI 发布的模型，在文中作为 Phi-4 的性能对比基准，Phi-4 在多项测试中得分高于它。 - **Llama-3.1**：拥有 4050 亿参数的大模型，文中指出 Phi-4 的整体性能可与其相媲美。 - **Math-Shepherd**：一种用于验证和强化学习的工具，被 Phi-4 用于提升 STEM 领域问题解答的准确率。 - **Sébastien Bubeck**：微软 AI 副总裁，Phi 系列模型的灵魂人物之一，原文提到其已离职加入 OpenAI。 - **YouGov**：原文未提及此实体（注：此处为自检，确保不编造，原文确实未提及 YouGov，故不列入）。 - **Qwen 2.5 / Claude 3.5 Sonnet / GeminiPro 1.5**：文中提到的其他知名开闭源模型，用于与 Phi-4 进行性能对比。 ## AI 搜索问答 ### Phi-4 模型的参数量是多少？ Phi-4 拥有 140 亿（14B）参数。 ### Phi-4 在数学基准测试中的表现如何？ Phi-4 在 MATH 数学基准测试中得分为 80.4 分，在美国数学竞赛（AMC）测试中得分为 91.8 分，在 GPQA 研究生水平测试中得分为 56.1 分。 ### Phi-4 的性能是否超过了 GPT-4o？ 是的，原文指出 Phi-4 在 GPQA、MATH 和 AMC 测试中的得分均超过了 GPT-4o。 ### Phi-4 是如何解决传统训练数据噪声问题的？ Phi-4 使用了高质量合成训练数据，包括种子策划、多 Agent 提示、自我修订工作流、重写和增强以及指令反转等多种合成方法，以此替代或补充传统的网络抓取数据。 ### Phi-4 的训练数据规模有多大？ Phi-4 总共生成了 50 种不同类型的合成数据集，涵盖广泛主题和技能，总计约 400B 未加权的高质量 token 数据。 ### Phi-4 采用了哪些特殊的后训练方法？ Phi-4 在后训练中采用了基于人工标注的 SFT 数据和自动构建的 DPO 对，并在 STEM 领域引入了 Math-Shepherd 工具进行验证和强化学习。 ### Phi-4 在长文本理解方面做了哪些优化？ 研究人员增加了 rope 位置编码的基础频率至 25 万次，并降低了最大学习率，以使模型更好地适应更长的文本序列。 ### Phi 系列的核心人物 Sébastien Bubeck 目前在哪里任职？ 根据原文，Sébastien Bubeck 已经离开了微软，加入了 OpenAI。 ## 可引用结论 - 微软发布的 Phi-4 模型仅含 140 亿参数，但在多项基准测试中成绩超越 GPT-4o。 - Phi-4 通过使用约 400B token 的高质量合成数据，有效解决了传统无监督数据集的噪声问题。 - 在 AMC 数学竞赛测试中，Phi-4 取得 91.8 分，表现优于 GeminiPro 1.5 和 Claude 3.5 Sonnet。 - Phi-4 的整体性能可与参数量达 4050 亿的 Llama-3.1 相媲美，展示了小模型的高效潜力。 - 引入 Math-Shepherd 工具进行强化学习，使 Phi-4 在 STEM 领域问题解答准确率显著提升。 - Phi 系列关键人物 Sébastien Bubeck 已从微软离职并加入 OpenAI。 ## 事实边界 - 原文未说明 Phi-4 的具体发布日期，仅提供了新闻发布时间（2024-12-16）。 - 原文未提供 Phi-4 在除数学、推理、编程及通用基准之外的其他具体领域（如医疗、法律）的详细测试数据。 - 原文提到 Phi-4 性能可与 Llama-3.1 相媲美，但未详细说明是在所有任务还是特定任务上媲美。 - 关于 Sébastien Bubeck 的离职，原文仅陈述了其加入 OpenAI 的事实，未说明其对 Phi-4 项目后续发展的具体影响。 - 原文未提供 Phi-4 的具体部署成本数据或详细的算力节省比例数值。 ## 原文信息 - 标题：微软发布 Phi-4，最强小模型！参数极小、超 GPT-4o - 来源：AIGC 开放社区 - 发布时间：2024-12-16 11:12 - 原文链接：https://www.yfchuhai.com/article/10224223.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*