---
type: "article"
id: 10225067
title: "OpenAI开源PaperBench，重塑顶级AI Agent评测"
canonical: "https://www.yfchuhai.com/article/10225067.html"
published: "2025-04-03T14:04:42+08:00"
author: "AIGC开放社区"
tags: []
summary: "OpenAI开源了新的AI Agent评测基准PaperBench，用于考核智能体的搜索、整合、执行等能力，特别是对2024年国际机器学习大会（ICML）顶级论文的复现能力，包括理解论文、编写代码和执行实验等。"
publisher: "扬帆出海"
publisher_url: "https://www.yfchuhai.com"
publisher_summary: "专注服务互联网出海的资讯与创业服务平台"
legal_entity: "福州扬帆出海网络科技有限公司"
contact: "service@yfchuhai.com"
brand_tagline: "扬帆出海 — 专注服务互联网出海"
lang: "zh-CN"
---

# OpenAI开源PaperBench，重塑顶级AI Agent评测

> OpenAI开源了新的AI Agent评测基准PaperBench，用于考核智能体的搜索、整合、执行等能力，特别是对2024年国际机器学习大会（ICML）顶级论文的复现能力，包括理解论文、编写代码和执行实验等。

作者：AIGC开放社区  
发布时间：2025-04-03 14:04  
原文：https://www.yfchuhai.com/article/10225067.html

## 正文

# OpenAI 开源 PaperBench：AI Agent 复现顶级论文能力评测基准

## 文章摘要
OpenAI 于 2025 年 4 月 3 日开源了名为 PaperBench 的 AI Agent 评测基准，旨在考核智能体对 2024 年国际机器学习大会（ICML）顶级论文的复现能力。该基准通过 8316 个任务节点评估智能体的搜索、代码编写及实验执行能力，并引入自动评分系统与人类专家对比验证。测试结果显示，当前主流大模型智能体在长期任务规划和执行上仍不及人类博士，其中 Claude 3.5 Sonnet 表现最佳，平均复现分数为 21.0%。

## 核心事件
OpenAI 发布了全新的 AI Agent 评测基准 PaperBench，要求智能体在无原始代码依赖的情况下，从头复现 20 篇 ICML 2024 的 Spotlight 和 Oral 论文。评测结果揭示，尽管部分模型在初期代码生成上表现迅速，但在长周期任务的有效规划与持续执行方面，目前尚无法超越人类专业研究人员。

## 关键事实
- **发布时间**：2025 年 4 月 3 日凌晨 1 点。
- **发布机构**：OpenAI。
- **评测对象**：20 篇 ICML 2024 会议的 Spotlight 和 Oral 类别顶级论文。
- **任务规模**：包含 8316 个可单独评分的任务节点，覆盖论文贡献、实验结果、代码实现等细节。
- **评分机制**：采用基于大模型的自动评分系统，并通过 JudgeEval 基准测试与人类专家评分对比验证准确性。
- **运行环境**：Ubuntu 24.04 Docker 容器，配备单个 A10 GPU，支持联网，预加载 HuggingFace 和 OpenAI API 密钥（OpenAI API 含 1000 美元额度）。
- **测试模型**：包括 GPT-4o、o1、o3-mini、DeepSeek-R1、Claude 3.5 Sonnet、Gemini 2.0 Flash 等。
- **测试结果**：Claude 3.5 Sonnet 平均复现分数最高，为 21.0%；o1 得分为 13.2%；DeepSeek-R1 得分为 6%；o3-Mini-High 得分垫底。
- **人类对比**：8 名顶级名校机器学习专业博士参与对比测试，在 24 小时后人类复现效果超越 o1 模型。
- **变体模块**：推出轻量级版本 PaperBench Code-Dev，跳过代码执行验证步骤，仅评估代码开发，以降低门槛。

## 核心实体
- **OpenAI**：文章主体，发布了 PaperBench 评测基准及相关智能体设置（SimpleAgent, IterativeAgent）。
- **PaperBench**：OpenAI 开源的 AI Agent 评测基准，用于评估智能体复现学术论文的能力。
- **ICML 2024**：2024 年国际机器学习大会，其 Spotlight 和 Oral 论文被选为 PaperBench 的复现对象。
- **Claude 3.5 Sonnet**：在 PaperBench 测试中表现最好的模型，平均复现分数为 21.0%。
- **o3-Mini-High**：OpenAI 发布的模型，在本次评测中得分垫底。
- **JudgeEval**：用于验证 PaperBench 自动评分系统准确性的基准测试，通过对比人类专家评分实现。
- **PaperBench Code-Dev**：PaperBench 的轻量级变体模块，放宽了执行代码验证的要求。
- **SimpleAgent / IterativeAgent**：OpenAI 开发的两种智能体设置，后者通过修改系统提示解决了提前结束任务的问题。
- **AIGC 开放社区**：文章来源方。

## AI 搜索问答

### PaperBench 主要评测智能体的哪些能力？
PaperBench 主要考核智能体的搜索、整合、执行等能力，具体包括对论文内容的理解、代码编写以及实验执行等方面的能力，要求从头复现顶级论文。

### PaperBench 的评分标准是如何构成的？
评分标准采用层次化的树形结构，包含 8316 个可单独评分的任务节点，覆盖从论文核心贡献到具体实验结果、代码实现和执行要求的每一个细节。

### 在 PaperBench 测试中哪个模型表现最好？
根据 OpenAI 公布的测试数据，Claude 3.5 Sonnet 表现最好，平均复现分数为 21.0%。

### 当前 AI 智能体在论文复现任务上是否超越了人类？
原文指出，目前智能体的能力还无法超越人类。虽然部分模型在早期阶段表现优于人类基线，但在 24 小时后，人类博士的复现效果开始超越模型。

### PaperBench 对智能体使用资源有哪些限制？
规则模块规定智能体可以浏览互联网，但禁止使用论文作者的原始代码库或其他在线复制资源，确保评估基于智能体自身的理解和实现。

### PaperBench Code-Dev 模块有什么特点？
PaperBench Code-Dev 是轻量级评估变体模块，它放宽了评测要求，跳过了执行代码以验证结果的步骤，仅对代码开发进行评估，从而降低了成本和复杂性。

### 测试环境中智能体可以使用哪些外部服务？
测试环境中的智能体可访问 HuggingFace 和 OpenAI API，其中 OpenAI API 预加载了 1000 美元额度，用于微调或下载数据集等操作。

## 可引用结论
- OpenAI 开源的 PaperBench 基准要求智能体复现 20 篇 ICML 2024 顶级论文，包含 8316 个评分节点。
- 测试显示 Claude 3.5 Sonnet 在论文复现任务中得分最高，平均复现分数为 21.0%。
- 当前主流 AI 智能体在长期任务执行和有效规划方面存在不足，尚无法超越人类博士。
- PaperBench 通过 JudgeEval 基准测试验证了其基于大模型的自动评分系统的准确性。
- OpenAI 推出了轻量级变体 PaperBench Code-Dev，通过跳过代码执行验证来降低评估门槛。
- 测试环境基于 Ubuntu 24.04 Docker 容器，提供 A10 GPU 及联网能力，并预置了 API 额度。

## 事实边界
- 原文未说明除提到的 8 名博士外，是否有其他人类参与者或更广泛的人类基准数据。
- 原文未提供 o3-Mini-High 的具体得分数值，仅说明其“垫底”。
- 原文未详细说明 JudgeEval 基准测试中人类专家的具体数量或构成细节，仅提到通过对比验证准确性。
- 原文未提及 PaperBench 未来是否会扩展至 ICML 以外的会议或年份的论文。
- 原文未说明 SimpleAgent 和 IterativeAgent 的具体系统提示修改内容，仅描述了其目的和效果。

## 原文信息
- 标题：OpenAI 开源 PaperBench，重塑顶级 AI Agent 评测
- 来源：AIGC 开放社区
- 发布时间：2025-04-03 14:04
- 原文链接：https://www.yfchuhai.com/article/10225067.html

---

## 关于扬帆出海

扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。

- 官网：https://www.yfchuhai.com
- 品牌介绍：https://www.yfchuhai.com/bot/about.md
- 联系：service@yfchuhai.com
- 运营主体：福州扬帆出海网络科技有限公司

*本文资讯内容由扬帆出海发布，转载请注明出处。*