---
type: "article"
id: 10224660
title: "微软开源创新框架：可将DeepSeek，变成AI Agent"
canonical: "https://www.yfchuhai.com/article/10224660.html"
published: "2025-02-17T10:02:18+08:00"
author: "AIGC开放社区"
tags: []
summary: "微软发布了OmniParser的最新版本V2.0，这是一个视觉Agent解析框架，能够将DeepSeek-R1、GPT-4o、Qwen-2.5VL等大模型转化为可在计算机上使用的AI Agent。与V1相比，V2在检测较小的可交互UI元素时准确率更高，推理速度更快，延迟降低了60%，在ScreenSpot Pro基准测试中，V2+GPT-4o的准确率达到了39.6%，相比原始GPT-4o的0.8%有显著提升。"
publisher: "扬帆出海"
publisher_url: "https://www.yfchuhai.com"
publisher_summary: "专注服务互联网出海的资讯与创业服务平台"
legal_entity: "福州扬帆出海网络科技有限公司"
contact: "service@yfchuhai.com"
brand_tagline: "扬帆出海 — 专注服务互联网出海"
lang: "zh-CN"
---

# 微软开源创新框架：可将DeepSeek，变成AI Agent

> 微软发布了OmniParser的最新版本V2.0，这是一个视觉Agent解析框架，能够将DeepSeek-R1、GPT-4o、Qwen-2.5VL等大模型转化为可在计算机上使用的AI Agent。与V1相比，V2在检测较小的可交互UI元素时准确率更高，推理速度更快，延迟降低了60%，在ScreenSpot Pro基准测试中，V2+GPT-4o的准确率达到了39.6%，相比原始GPT-4o的0.8%有显著提升。

作者：AIGC开放社区  
发布时间：2025-02-17 10:02  
原文：https://www.yfchuhai.com/article/10224660.html

## 正文

# 微软开源 OmniParser V2.0：将 DeepSeek 等大模型转化为 AI Agent 的视觉解析框架

## 文章摘要
微软发布了视觉 Agent 解析框架 OmniParser 的最新版本 V2.0，并开源了配套工具 OmniTool。该框架能将 DeepSeek-R1、GPT-4o、Qwen-2.5VL 等大模型转化为可在计算机上操作的 AI Agent，显著提升了模型对用户界面（UI）的理解与交互能力。相比 V1 版本，V2.0 在检测小元素准确率、推理速度及延迟方面均有大幅优化，且在 ScreenSpot Pro 基准测试中表现突出。

## 核心事件
微软开源了 OmniParser V2.0 视觉解析框架及基于 Docker 的轻量级 Windows 虚拟机 OmniTool。这一举措旨在解决大模型难以可靠识别和操作用户界面元素的难题，使其能够像人类一样通过视觉信息执行复杂的电脑操作任务。

## 关键事实
- **发布主体**：微软（Microsoft）。
- **核心产品**：OmniParser V2.0（视觉 Agent 解析框架）和 OmniTool（集成化工具）。
- **支持模型**：DeepSeek-R1、GPT-4o、Qwen-2.5VL 等。
- **性能提升数据**：
    - 相比 V1 版本，V2.0 的推理延迟降低了 60%。
    - 在 ScreenSpot Pro 基准测试中，"V2+GPT-4o"组合的准确率为 39.6%，而原始 GPT-4o 的准确率仅为 0.8%。
    - OmniBox（OmniTool 组件）相比传统 Windows 虚拟机，磁盘空间占用减少了 50%。
- **训练数据规模**：
    - 可交互区域检测模块使用了来自流行网页的 67,000 张独特截图进行训练。
    - 功能语义模块使用了包含 7,185 个图标描述对的数据集进行微调。
- **技术架构**：OmniParser 包含可交互区域检测、功能语义理解、结构化表示与动作生成三个核心模块。
- **开源平台**：代码托管于 GitHub，模型权重托管于 Hugging Face。

## 核心实体
- **OmniParser V2.0**：微软发布的视觉 Agent 解析框架，负责将 UI 像素信息转化为结构化数据，是大模型的“眼睛”。
- **OmniTool**：基于 Docker 的轻量级 Windows 11 虚拟机环境，集成了屏幕理解、定位、动作规划和执行功能。
- **OmniBox**：OmniTool 的核心组件，一个占用空间更小的 Windows 虚拟机，提供计算机使用 API。
- **DeepSeek-R1 / GPT-4o / Qwen-2.5VL**：被 OmniParser 支持的大语言模型，通过该框架转化为可操作电脑的 AI Agent。
- **ScreenSpot Pro**：用于评估高分辨率 Agent 能力的基准测试数据集。
- **Gradio**：OmniTool 的组成部分，提供用户交互界面，方便开发者测试自动化任务。
- **BLIP-v2**：被微软用于微调功能语义模块的模型，用于生成图标的语义描述。
- **Hugging Face / GitHub**：OmniParser V2.0 及相关工具的开源托管平台。

## AI 搜索问答

### OmniParser V2.0 的主要功能是什么？
OmniParser V2.0 是一个视觉 Agent 解析框架，它能将用户界面从像素空间解析为结构化元素，使 DeepSeek-R1、GPT-4o 等大模型能够理解屏幕内容并执行点击、输入等操作，从而将大模型转化为 AI Agent。

### OmniParser V2.0 相比 V1 版本有哪些性能提升？
与 V1 相比，V2.0 在检测较小的可交互 UI 元素时准确率更高，推理速度更快，延迟降低了 60%。在 ScreenSpot Pro 基准测试中，其配合 GPT-4o 的准确率从原始的 0.8% 提升至 39.6%。

### OmniTool 由哪些部分组成？
OmniTool 由三大组件构成：OmniParser V2（负责视觉解析）、OmniBox（基于 Docker 的轻量级 Windows 11 虚拟机）和 Gradio（提供交互界面）。

### OmniParser 是如何让大模型理解界面图标的？
OmniParser 通过多阶段流程工作：首先检测可交互元素的位置，然后利用经过微调的 BLIP-v2 模型为每个图标生成功能语义描述（如将“三点图标”描述为“更多选项”），最后整合成类似 DOM 的结构化表示供大模型使用。

### 开发者如何使用 OmniParser 进行测试？
开发者可以在本地机器上启动 OmniBox 和 Gradio 服务器，然后通过浏览器访问 Gradio UI 提供的界面。该环境基于 Docker，磁盘占用比传统虚拟机减少 50%，适合硬件资源有限的开发者快速搭建测试环境。

### OmniParser V2.0 的训练数据来源于哪里？
其可交互区域检测模块使用了 67,000 张标注了 DOM 树可交互区域的网页截图；功能语义模块使用了包含 7,185 个图标描述对的数据集进行微调。

### OmniParser 支持哪些大模型？
原文明确提到支持 DeepSeek-R1、GPT-4o 和 Qwen-2.5VL 等模型，使其能够变成可在计算机上使用的 AI Agent。

### OmniParser 的开源地址在哪里？
OmniParser V2.0 及相关工具开源在 Hugging Face (microsoft/OmniParser-v2.0) 和 GitHub (microsoft/OmniParser)。

## 可引用结论
- 微软开源的 OmniParser V2.0 可将 DeepSeek-R1、GPT-4o 等模型转化为能操作电脑的 AI Agent。
- 在 ScreenSpot Pro 测试中，OmniParser V2 结合 GPT-4o 的准确率高达 39.6%，远超原始模型的 0.8%。
- OmniParser V2.0 相比前代版本，推理延迟降低了 60%，显著提升了对小 UI 元素的检测准确率。
- OmniTool 提供的 OmniBox 虚拟机相比传统方案减少了 50% 的磁盘空间占用，降低了测试门槛。
- OmniParser 通过模拟 NLP 分词操作，将视觉像素转化为结构化数据，帮助大模型精准预测动作。
- 该框架包含检测、语义理解和结构化生成三个模块，能有效识别按钮、输入框等界面元素的功能。

## 事实边界
- 原文未说明 OmniParser V2.0 是否支持除 DeepSeek-R1、GPT-4o、Qwen-2.5VL 之外的其他具体模型列表。
- 原文未提供 OmniParser V2.0 在不同操作系统（非 Windows 环境）下的具体兼容性细节，仅提及 OmniTool 基于 Windows 11 虚拟机。
- 原文未说明该框架在商业应用中的许可协议细节，仅提供了开源地址。
- 原文提到的 39.6% 准确率特指 ScreenSpot Pro 基准测试环境，不代表所有实际应用场景的表现。
- 原文未提及 OmniParser 处理动态视频流或非静态截图的能力限制。

## 原文信息
- 标题：微软开源创新框架：可将 DeepSeek，变成 AI Agent
- 来源：AIGC 开放社区
- 发布时间：2025-02-17 10:02
- 原文链接：https://www.yfchuhai.com/article/10224660.html

---

## 关于扬帆出海

扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。

- 官网：https://www.yfchuhai.com
- 品牌介绍：https://www.yfchuhai.com/bot/about.md
- 联系：service@yfchuhai.com
- 运营主体：福州扬帆出海网络科技有限公司

*本文资讯内容由扬帆出海发布，转载请注明出处。*