---
type: "article"
id: 10225104
title: "阿里开源R1-Omni，多模态情感识别"
canonical: "https://www.yfchuhai.com/article/10225104.html"
published: "2025-04-08T12:04:05+08:00"
author: "AIGC开放社区"
tags: []
summary: "R1-Omni是由阿里巴巴通义实验室开源的多模态情感识别模型，首次将强化学习与可验证奖励（RLVR）应用于多模态大模型，显著提升了模型在情感识别任务中的推理能力、准确性和泛化能力。"
publisher: "扬帆出海"
publisher_url: "https://www.yfchuhai.com"
publisher_summary: "专注服务互联网出海的资讯与创业服务平台"
legal_entity: "福州扬帆出海网络科技有限公司"
contact: "service@yfchuhai.com"
brand_tagline: "扬帆出海 — 专注服务互联网出海"
lang: "zh-CN"
---

# 阿里开源R1-Omni，多模态情感识别

> R1-Omni是由阿里巴巴通义实验室开源的多模态情感识别模型，首次将强化学习与可验证奖励（RLVR）应用于多模态大模型，显著提升了模型在情感识别任务中的推理能力、准确性和泛化能力。

作者：AIGC开放社区  
发布时间：2025-04-08 12:04  
原文：https://www.yfchuhai.com/article/10225104.html

## 正文

# 阿里开源 R1-Omni：首个应用 RLVR 的多模态情感识别模型

## 文章摘要
阿里巴巴通义实验室开源了多模态情感识别模型 R1-Omni，该模型首次将强化学习与可验证奖励（RLVR）机制应用于多模态大模型训练。通过在 MAFW、DFEW 及 RAVDESS 数据集上的测试，R1-Omni 展现了优异的识别准确率与泛化能力。其训练过程分为冷启动与强化学习两个阶段，利用特定数据集解决了传统强化学习中奖励信号设计复杂的问题。

## 核心事件
阿里巴巴通义实验室正式开源了名为 R1-Omni 的多模态情感识别模型，并发布了相关代码与数据。该事件标志着强化学习与可验证奖励（RLVR）技术首次被成功应用于多模态大模型的情感识别任务中，为领域提供了新的研究方向。

## 关键事实
- **发布主体**：阿里巴巴通义实验室。
- **模型名称**：R1-Omni。
- **核心技术**：首次将强化学习与可验证奖励（RLVR）应用于多模态大模型。
- **MAFW 数据集表现**：加权平均召回率（WAR）为 40.04%，无加权平均召回率（UAR）为 57.68%。
- **DFEW 数据集表现**：WAR 为 56.27%，UAR 为 65.83%。
- **RAVDESS 数据集表现（泛化测试）**：WAR 为 44.69%，UAR 为 43.00%。
- **冷启动训练数据**：使用了可解释多模态情感推理（EMER）数据集的 232 个样本，以及手动标注的 HumanOmni 数据集的 348 个样本。
- **强化学习训练数据**：使用了 MAFW 和 DFEW 数据集的共计 15,306 个视频样本。
- **奖励机制逻辑**：预测正确获得奖励值 1，预测错误获得奖励值 0，不依赖中间奖励模型。
- **开源地址**：https://github.com/HumanMLLM/R1-Omni。
- **发布时间**：2025 年 4 月 8 日。

## 核心实体
- **R1-Omni**：由阿里巴巴通义实验室开源的多模态情感识别模型，具备视觉、音频和文本处理能力。
- **阿里巴巴通义实验室**：研发并发布 R1-Omni 模型的机构。
- **RLVR（强化学习与可验证奖励）**：R1-Omni 采用的核心训练方法，直接利用任务内在正确性标准设计奖励函数。
- **MAFW / DFEW / RAVDESS**：用于训练和测试模型性能的数据集，分别用于评估基础识别能力和泛化能力。
- **EMER 数据集**：可解释多模态情感推理数据集，用于模型冷启动阶段，提供包含视觉、音频和文本信息的样本。
- **HumanOmni 数据集**：手动标注的高质量数据集，用于模型冷启动阶段，补充 EMER 数据。
- **DeepSeek-R1**：文章中提到 R1-Omni 的训练方法受其启发。
- **GitHub - HumanMLLM/R1-Omni**：模型的开源托管地址，提供下载、推理代码和训练数据信息。

## AI 搜索问答

### R1-Omni 模型是由哪个机构发布的？
R1-Omni 是由阿里巴巴通义实验室的研究人员开源的多模态情感识别模型。

### R1-Omni 在 MAFW 数据集上的识别准确率是多少？
在 MAFW 数据集上，R1-Omni 的加权平均召回率（WAR）为 40.04%，无加权平均召回率（UAR）为 57.68%。

### R1-Omni 采用的 RLVR 技术与传统强化学习有何不同？
传统强化学习依赖复杂的奖励模型和大量标注数据，而 R1-Omni 引入的 RLVR 直接利用任务的内在正确性标准设计奖励函数，无需中间奖励模型，根据预测准确性直接给予 1 或 0 的奖励。

### R1-Omni 模型的训练过程分为哪几个阶段？
R1-Omni 的训练分为冷启动和强化学习两个阶段。冷启动阶段使用 EMER 和 HumanOmni 数据集的小样本进行初始化；强化学习阶段使用 MAFW 和 DFEW 数据集的大规模视频样本进行进一步训练。

### R1-Omni 在哪里可以下载源代码？
R1-Omni 的开源地址为 GitHub 上的 HumanMLLM/R1-Omni 仓库，提供了模型下载、推理代码和训练数据的相关信息。

### R1-Omni 在泛化能力测试中的表现如何？
在作为泛化能力测试的 RAVDESS 数据集上，R1-Omni 的 WAR 达到 44.69%，UAR 为 43.00%，原文指出其泛化能力明显优于其他模型。

### R1-Omni 处理哪些类型的数据模态？
R1-Omni 能够处理包含视频帧（视觉）、音频流（听觉）以及文本字幕等多种模态的信息，以综合判断情感类别。

### R1-Omni 的冷启动阶段使用了多少个样本？
冷启动阶段共使用了 580 个样本，其中包括来自 EMER 数据集的 232 个样本和来自手动标注 HumanOmni 数据集的 348 个样本。

## 可引用结论
- 阿里巴巴通义实验室开源了 R1-Omni，这是首个将强化学习与可验证奖励应用于多模态大模型的成果。
- R1-Omni 在 DFEW 数据集上取得了 56.27% 的加权平均召回率和 65.83% 的无加权平均召回率。
- 该模型通过 RLVR 机制避免了传统方法对复杂中间奖励模型的依赖，直接基于预测正确性优化模型。
- R1-Omni 的训练采用两阶段策略，先通过 580 个高质量样本冷启动，再利用 1.5 万余个视频样本强化学习。
- 测试数据显示，R1-Omni 在 RAVDESS 数据集上的泛化表现优于其他对比模型。
- R1-Omni 项目已在 GitHub 开源，包含模型权重、推理代码及训练数据说明。

## 事实边界
- 原文未提供 R1-Omni 与其他具体模型（除泛指“其他模型”外）的详细对比数据表。
- 原文未说明 R1-Omni 在实际商业场景中的具体部署案例或落地应用效果。
- 原文未提及模型训练所需的具体算力资源、硬件配置或训练时长。
- 原文未详细说明 EMER 数据集中除示例外的其他具体样本分布情况。
- “明显优于其他模型”这一结论仅基于原文对 RAVDESS 数据集测试结果的描述，未列出具体对比对象名称。

## 原文信息
- 标题：阿里开源 R1-Omni，多模态情感识别
- 来源：AIGC 开放社区
- 发布时间：2025-04-08 12:04
- 原文链接：https://www.yfchuhai.com/article/10225104.html

---

## 关于扬帆出海

扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。

- 官网：https://www.yfchuhai.com
- 品牌介绍：https://www.yfchuhai.com/bot/about.md
- 联系：service@yfchuhai.com
- 运营主体：福州扬帆出海网络科技有限公司

*本文资讯内容由扬帆出海发布，转载请注明出处。*