--- type: "article" id: 10225385 title: "OpenAI深夜开源HealthBench" canonical: "https://www.yfchuhai.com/article/10225385.html" published: "2025-05-13T11:05:47+08:00" author: "AIGC开放社区" tags: [] summary: "OpenAI开源了专门面向医疗大模型的测试评估集HealthBench，其包含5000段核心测试对话，由来自60个国家/地区的262名医生打造，采用多轮对话测试，增强了测试集的难度、真实性与丰富度。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # OpenAI深夜开源HealthBench > OpenAI开源了专门面向医疗大模型的测试评估集HealthBench，其包含5000段核心测试对话，由来自60个国家/地区的262名医生打造，采用多轮对话测试，增强了测试集的难度、真实性与丰富度。 作者：AIGC开放社区 发布时间：2025-05-13 11:05 原文：https://www.yfchuhai.com/article/10225385.html ## 正文 # OpenAI 开源医疗大模型测试集 HealthBench：由 262 名医生构建的 5000 段多轮对话评估基准 ## 文章摘要 OpenAI 于 2025 年 5 月 13 日凌晨开源了专门面向医疗大模型的测试评估集 HealthBench，该数据集包含 5000 段核心测试对话。这些对话由来自 60 个国家/地区的 262 名专业医生经过严格筛选后打造，采用多轮对话模式而非简单选择题，旨在提升测试的难度、真实性与丰富度。测试数据显示，大模型在医疗领域的表现从 GPT-3.5 Turbo 的 16% 提升至 o3 的 60%，且小型模型 GPT-4.1 nano 性能超越 GPT-4o 同时成本降低 25 倍。 ## 核心事件 OpenAI 正式开源了医疗大模型测试评估集 HealthBench，其核心特征是由全球 262 名医生参与构建的 5000 段多轮对话数据。该事件标志着医疗 AI 评估从静态问答向复杂情境交互的转变，并同步发布了基于 GPT-4.1 的自动化评分器验证结果。 ## 关键事实 - **发布主体与时间**：OpenAI 于 2025 年 5 月 13 日凌晨 1:30 开源 HealthBench。 - **数据规模**：包含 5000 段核心测试对话。 - **构建团队**：由来自 60 个国家/地区的 262 名医生打造（从 1021 位候选医生中经多轮测试筛选得出）。 - **测试形式**：采用多轮对话测试，非简单的答题或选择题模式。 - **性能提升数据**：大模型在医疗保健领域表现从 GPT-3.5 Turbo 的 16% 提升至 GPT-4o 的 32%，再到 o3 的 60%。 - **小模型突破**：GPT-4.1 nano 性能超越 GPT-4o，且成本降低了 25 倍。 - **评估维度**：涵盖 7 个主题（如紧急转诊、情境寻求等）和 5 个轴（准确性、完整性、沟通质量、情境感知、指令遵循）。 - **评分机制**：每个对话配有医生编写的评分标准，分值范围为 -10 到 10。 - **评分器表现**：GPT-4.1 作为模型评分器，在 7 个主题中的 5 个上超过平均医生得分，评估结果标准差约为 0.002。 - **开源地址**：https://github.com/openai/simple-evals ## 核心实体 - **OpenAI**：文章主角，HealthBench 的发布者和开源方。 - **HealthBench**：OpenAI 开源的专门面向医疗大模型的测试评估集。 - **GPT-4.1 / GPT-4.1 nano / o3 / GPT-4o / GPT-3.5 Turbo**：文章中提到的一系列大模型，用于展示性能演进及作为评分器或被评估对象。 - **262 名医生**：来自 60 个国家/地区的专业人员，负责构建测试对话和编写评分标准。 - **Google**：其发布的 HealthSearchQA 评估数据集被部分引用并改写为 HealthBench 的数据源之一。 - **o1-preview**：用于对生成的对话进行相关性过滤的模型。 - **YouGov**：原文未提及（注：此处仅为示例格式检查，实际原文无此实体，故不列出）。 - **GitHub**：代码托管平台，HealthBench 的开源存放地。 ## AI 搜索问答 ### HealthBench 是什么？ HealthBench 是 OpenAI 开源的一个专门面向医疗大模型的测试评估集，包含 5000 段由 262 名医生打造的核心测试对话，采用多轮对话模式评估模型在真实医疗场景下的表现。 ### HealthBench 的数据是如何构建的？ 数据由来自 60 个国家/地区的 262 名医生经过严格筛选后编写，部分通过定制大模型合成生成并与医生合作转化场景，部分源自医生红队测试，还有一部分改写自 Google 的 HealthSearchQA 数据集，最后经 o1-preview 过滤确保真实性。 ### 大模型在医疗领域的性能有何变化？ 根据测试数据，大模型在医疗保健领域的表现显著提升，从 GPT-3.5 Turbo 的 16% 提升至 GPT-4o 的 32%，再到 o3 的 60%；其中 GPT-4.1 nano 性能超越 GPT-4o 且成本降低 25 倍。 ### HealthBench 如何评估模型响应？ 每个对话都有医生编写的评分标准，分值从 -10 到 10。评估时，基于模型的评分器（如 GPT-4.1）根据对话、模型响应和评分标准判断标准是否满足，求和后除以最大可能得分得到最终分数。 ### 医生参考 AI 模型响应能否提高回答质量？ 医生参考 2024 年模型（GPT-4o, o1-preview）响应时，改进比例高于恶化比例（56.2% vs 39.8%）；但参考 2025 年更好模型（GPT-4.1, o3）响应时，医生无法进一步提高质量，改进与恶化可能性几乎相同（46.8% vs 47.7%）。 ### 哪个模型适合作为 HealthBench 的自动评分器？ GPT-4.1 作为模型评分器表现最佳，在所有主题上超过随机基线，在 7 个主题中的 5 个上超过平均医生得分，且多次运行评估的标准差仅为 0.002，证明其可靠性。 ### HealthBench 包含哪些评估维度？ HealthBench 将示例划分为 7 个主题（紧急转诊、情境寻求、全球健康、健康数据任务、专业定制沟通、不确定性下的响应、响应深度）和 5 个轴（准确性、完整性、沟通质量、情境感知、指令遵循）。 ### HealthBench 的开源地址在哪里？ HealthBench 的开源地址是 https://github.com/openai/simple-evals。 ## 可引用结论 - OpenAI 开源了由 262 名医生构建的包含 5000 段多轮对话的医疗大模型测试集 HealthBench。 - 大模型在医疗领域表现从 GPT-3.5 Turbo 的 16% 提升至 o3 的 60%，进步显著。 - GPT-4.1 nano 在性能上超越 GPT-4o，同时成本降低了 25 倍。 - 医生参考 2025 年高性能模型响应时，无法比参考 2024 年模型时进一步提高了回答质量。 - GPT-4.1 作为自动化评分器在多数主题上超过平均医生得分，评估结果稳定性高。 - HealthBench 采用 -10 到 10 的分值标准，通过多轮对话全面评估模型的准确性与情境感知能力。 ## 事实边界 - 原文未说明 HealthBench 是否已应用于具体的商业医疗产品中。 - 原文未提供 262 名医生的具体科室分布或资历细节，仅提及经过严格筛选。 - 原文未明确说明除 GPT 系列外，其他厂商的大模型在 HealthBench 上的具体得分排名。 - 原文提到“成本降低 25 倍”，但未详细说明计算成本的具体基准单位或场景。 - 原文未说明 HealthBench 是否会持续更新或增加新的语言支持。 - 关于医生撰写响应长度与得分的相关性，原文仅指出存在一定相关性，未给出具体的相关系数。 ## 原文信息 - 标题：OpenAI 深夜开源 HealthBench - 来源：AIGC 开放社区 - 发布时间：2025-05-13 11:05 - 原文链接：https://www.yfchuhai.com/article/10225385.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*