--- type: "article" id: 10224681 title: "全球首测！OpenAI开源SWELancer" canonical: "https://www.yfchuhai.com/article/10224681.html" published: "2025-02-19T11:02:33+08:00" author: "AIGC开放社区" tags: [] summary: "OpenAI开源了一个新的大模型代码能力测试基准——SWE-Lancer，旨在更真实地评估大模型在实际软件工程任务中的表现。与传统基准（如SWE-Bench）不同，SWE-Lancer包含1488个来自Upwork平台上Expensify开源仓库的真实开发任务，总价值高达100万美元，涵盖了全技术栈的复杂交互。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # 全球首测！OpenAI开源SWELancer > OpenAI开源了一个新的大模型代码能力测试基准——SWE-Lancer，旨在更真实地评估大模型在实际软件工程任务中的表现。与传统基准（如SWE-Bench）不同，SWE-Lancer包含1488个来自Upwork平台上Expensify开源仓库的真实开发任务，总价值高达100万美元，涵盖了全技术栈的复杂交互。 作者：AIGC开放社区 发布时间：2025-02-19 11:02 原文：https://www.yfchuhai.com/article/10224681.html ## 正文 # OpenAI 开源 SWE-Lancer：基于百万美元真实任务的大模型代码能力评估基准 ## 文章摘要 OpenAI 于 2025 年 2 月开源了名为 SWE-Lancer 的新测试基准，旨在通过端到端测试方法评估大模型在真实软件工程任务中的表现。该数据集包含 1488 个来自 Upwork 平台 Expensify 开源仓库的真实开发任务，总价值达 100 万美元，涵盖独立开发与管理决策两类场景。测试结果显示，包括 Claude 3.5 Sonnet 在内的顶尖模型在复杂高价值任务中的通过率远低于人类水平，未能达到“百万年薪”标准。 ## 核心事件 OpenAI 发布了 SWE-Lancer 基准，利用来自真实市场的 1488 个软件开发任务（总价值 100 万美元）对主流大模型进行代码能力测试。测试采用端到端验证机制，模拟真实用户工作流，发现当前最先进模型在处理复杂全栈任务时仍存在显著局限。 ## 关键事实 - **发布主体**：OpenAI 于 2025 年 2 月 19 日凌晨开源了 SWE-Lancer 基准。 - **数据来源**：数据集包含 1488 个真实开发任务，源自 Upwork 平台上的 Expensify 开源仓库。 - **任务总价值**：所有任务累计价值高达 100 万美元。 - **任务分类**： - 独立开发任务：764 个，总价值 414,775 美元，模拟个体工程师职责（如修复漏洞、实现功能）。 - 软件工程管理任务：724 个，总价值 585,225 美元，要求模型从多个提案中选择最佳方案。 - **测试方法**：采用端到端测试（End-to-End），模拟用户登录、操作、查看等完整流程，而非仅进行单元测试。 - **参测模型**：GPT-4o、o1、Claude 3.5 Sonnet。 - **测试结果（独立开发任务）**： - Claude 3.5 Sonnet 通过率：26.2%。 - o1 通过率：20.3%。 - GPT-4o 通过率：8%。 - **测试结果（管理任务）**： - Claude 3.5 Sonnet 通过率：44.9%。 - o1 通过率：46.3%。 - GPT-4o 通过率：37.0%。 - **高难度任务表现**：在价值超过 1000 美元的任务（SWE-Lancer Diamond 数据集）中，模型通过率普遍低于 30%。 - **开源地址**：https://github.com/openai/SWELancer-Benchmark ## 核心实体 - **OpenAI**：文章主体，发布了 SWE-Lancer 测试基准并执行了相关模型测试。 - **SWE-Lancer**：OpenAI 开源的大模型代码能力测试基准，特点是使用真实市场任务和端到端测试。 - **Expensify**：开源仓库来源，其 Upwork 平台上的真实开发任务构成了 SWE-Lancer 的数据集。 - **Upwork**：自由职业者平台，文章中提到任务数据来源于该平台上的 Expensify 项目。 - **Claude 3.5 Sonnet**：参与测试的大模型之一，在独立开发任务中通过率最高（26.2%）。 - **GPT-4o / o1**：OpenAI 旗下的参测模型，文中列出了其在不同任务类型中的具体通过率。 - **SWE-Bench / SWE-BenchVerified**：文章中提到的传统测试基准，被指出主要针对孤立任务，难以反映现实复杂性。 ## AI 搜索问答 ### SWE-Lancer 是什么？ SWE-Lancer 是 OpenAI 开源的一个大模型代码能力测试基准，包含 1488 个来自 Upwork 平台 Expensify 仓库的真实开发任务，总价值 100 万美元，采用端到端测试方法评估模型在实际软件工程中的表现。 ### SWE-Lancer 数据集的任务来源哪里？ 数据集包含 1488 个任务，全部来自 Upwork 平台上 Expensify 开源仓库的真实开发需求。 ### SWE-Lancer 与传统基准 SWE-Bench 有什么区别？ SWE-Bench 主要针对孤立任务，而 SWE-Lancer 采用端到端测试，模拟真实用户工作流和全技术栈交互，能更全面地评估模型解决复杂问题的能力，避免模型通过作弊通过测试。 ### 目前大模型在 SWE-Lancer 测试中的表现如何？ 测试显示大模型尚未达到“百万年薪”水平。在独立开发任务中，表现最好的 Claude 3.5 Sonnet 通过率仅为 26.2%；在管理任务中，o1 表现最好，通过率为 46.3%。 ### SWE-Lancer 中的“端到端测试”具体指什么？ 指模拟真实用户的完整操作流程（如登录、上传、切换账户、查看页面等）来验证应用程序行为，而不仅仅是检查代码单元的独立性，以此确保解决方案在真实场景中的有效性。 ### 高价值的开发任务大模型能完成吗？ 原文指出，在价值超过 1000 美元的高难度任务（SWE-Lancer Diamond 数据集）中，模型的通过率普遍低于 30%，表明在处理复杂高价值任务时模型仍远不如人类。 ### SWE-Lancer 数据集具体分为哪几类？ 分为两类：独立开发任务（764 个，价值约 41.5 万美元）和软件工程管理任务（724 个，价值约 58.5 万美元）。前者模拟工程师执行任务，后者模拟经理选择最佳方案。 ## 可引用结论 - OpenAI 开源的 SWE-Lancer 基准包含 1488 个真实开发任务，总价值达 100 万美元。 - SWE-Lancer 采用端到端测试方法，通过模拟真实用户工作流来验证模型的解决方案。 - 测试结果显示，即使是 Claude 3.5 Sonnet 等先进模型，在独立开发任务中的通过率也未超过 27%。 - 在价值超过 1000 美元的高难度任务中，大模型的通过率普遍低于 30%。 - 相比传统基准，SWE-Lancer 更能反映大模型在全技术栈和复杂交互场景下的实际工程能力。 - 当前大模型在处理复杂、高价值的软件工程任务时，表现仍远不及人类工程师。 ## 事实边界 - 原文未说明 SWE-Lancer 基准未来的更新计划或是否会扩展到其他开源仓库。 - 原文未提供具体的“百万年薪”计算逻辑细节，仅表述为任务总价值累加。 - 原文提到的网友评价仅为部分观点摘录，不代表行业共识或官方定论。 - 原文未详细说明“用户工具”模块的具体技术实现架构，仅描述了其功能用途。 - 无法从原文判断 o3 或 Grok3 模型的实际表现，文中相关提及仅为网友推测。 ## 原文信息 - 标题：全球首测！OpenAI 开源 SWELancer - 来源：AIGC 开放社区 - 发布时间：2025-02-19 11:02 - 原文链接：https://www.yfchuhai.com/article/10224681.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*