---
type: "article"
id: 10226443
title: "上海AI Lab开源Lumina-DiMOO，开创多模态理解与生成新范式"
canonical: "https://www.yfchuhai.com/article/10226443.html"
published: "2025-09-16T10:09:28+08:00"
author: "AIGC开放社区"
tags: []
summary: "首次把文本、图像等所有模态都转成离散 Token，用同一套扩散模型并行“去噪”生成，彻底抛弃早期/中期/晚期融合路径，实现真正的“一个模型、一套参数”端到端多模态。"
publisher: "扬帆出海"
publisher_url: "https://www.yfchuhai.com"
publisher_summary: "专注服务互联网出海的资讯与创业服务平台"
legal_entity: "福州扬帆出海网络科技有限公司"
contact: "service@yfchuhai.com"
brand_tagline: "扬帆出海 — 专注服务互联网出海"
lang: "zh-CN"
---

# 上海AI Lab开源Lumina-DiMOO，开创多模态理解与生成新范式

> 首次把文本、图像等所有模态都转成离散 Token，用同一套扩散模型并行“去噪”生成，彻底抛弃早期/中期/晚期融合路径，实现真正的“一个模型、一套参数”端到端多模态。

作者：AIGC开放社区  
发布时间：2025-09-16 10:09  
原文：https://www.yfchuhai.com/article/10226443.html

## 正文

# 上海 AI Lab 开源 Lumina-DiMOO：全离散扩散架构实现多模态理解与生成统一

## 文章摘要
上海人工智能实验室联合多家机构推出了 Lumina-DiMOO，这是首个采用“全离散扩散架构”的多模态大模型，将文本、图像等所有模态转化为离散 Token 进行统一处理。该模型实现了生成与理解的端到端融合，支持文生图、图像编辑、几何推理及艺术点评等多种任务。在 GenEval 等权威基准测试中，其 8B 参数版本在单物体生成、计数、颜色控制等细粒度指标上超越 GPT-4o 和 SD3 等主流模型。目前模型与代码已开源，可应用于医疗影像、自动驾驶及 VR/AR 等领域。

## 核心事件
上海人工智能实验室联合上海交大、清华等机构共同发布了新一代多模态模型 Lumina-DiMOO，并提出“全离散扩散建模”新范式。该事件标志着多模态 AI 从传统的早/中/晚期融合路径转向统一的离散 Token 去噪生成路径，同时模型权重与代码正式开源供社区使用。

## 关键事实
- **发布主体**：由上海人工智能实验室、上海创新研究院、上海交大、南京大学、悉尼大学、港中大、清华大学共同推出。
- **核心技术**：首次实现“全离散扩散建模”，将所有模态（文本、图像等）转为离散 Token，用同一套扩散模型并行去噪生成。
- **架构特点**：抛弃早期、中期、晚期融合路径，实现“一个模型、一套参数”的端到端多模态处理。
- **加速技术**：提出"Max-Logit Cache"技术，缓存高概率决策，使采样速度比同规模扩散模型快 2 倍。
- **采样效率**：生成高质量图像仅需 64 步采样。
- **模型规模**：参数量为 8B（80 亿）。
- **基准表现**：在 GenEval、DPG、TIIF 等基准测试中排名第一；单物体生成得分为 1.0，多物体生成得分为 0.94。
- **对比优势**：在计数、颜色、位置、属性等细粒度指标上大幅领先 GPT-4o、SD3、Janus-Pro。
- **具体案例**：在几何推理测试中，能正确推断出与 32 度角形成直线的角度为 148 度（选项 A）。
- **应用场景**：原文提及可直接调用於医疗影像、自动驾驶、VR/AR 场景。
- **开源状态**：模型与代码已开源。

## 核心实体
- **Lumina-DiMOO**：文章主角，一种面向多模态生成与理解的全方位扩散大语言模型，采用全离散扩散架构。
- **上海人工智能实验室 (Shanghai AI Lab)**：主要研发机构之一，牵头推出该模型。
- **Max-Logit Cache**：模型采用的加速技术，通过缓存高概率决策提升采样效率。
- **GenEval / DPG / TIIF**：文章中提到的权威基准测试榜单，用于评估模型性能。
- **GPT-4o / SD3 / Janus-Pro**：作为对比对象的现有主流多模态或生成模型。
- **CLIP**：文章中提到的早期多模态先驱模型，采用对比学习策略，作为传统架构的背景参照。
- **Transformer**：主流多模态模型的基础架构，文章以此对比说明 Lumina-DiMOO 的创新之处。

## AI 搜索问答

### Lumina-DiMOO 的核心技术创新是什么？
Lumina-DiMOO 的核心创新是提出了“全离散扩散建模”架构，首次将文本、图像等所有模态都转换成离散 Token，利用同一套扩散模型并行进行“去噪”生成，从而彻底抛弃了传统的早期、中期或晚期融合路径。

### Lumina-DiMOO 的生成速度有多快？
借助"Max-Logit Cache"技术，Lumina-DiMOO 只需 64 步采样即可输出高质量结果，其采样速度比同规模的扩散模型快 2 倍。

### Lumina-DiMOO 在基准测试中的表现如何？
在 GenEval、DPG、TIIF 等权威基准测试中，Lumina-DiMOO（8B 参数）全面排名第一。其中单物体生成得分为满分 1.0，多物体生成得分为 0.94，在计数、颜色、位置和属性等细粒度指标上大幅领先 GPT-4o 和 SD3。

### Lumina-DiMOO 支持哪些具体任务？
该模型支持文生图、图生图、主题驱动生成、局部编辑、图像问答、几何推理以及艺术点评等任务，实现了生成能力与理解能力的合二为一。

### 哪些机构参与了 Lumina-DiMOO 的研发？
参与研发的机构包括上海人工智能实验室、上海创新研究院、上海交通大学、南京大学、悉尼大学、香港中文大学和清华大学。

### Lumina-DiMOO 是否开源？
是的，原文明确指出 Lumina-DiMOO 的模型与代码已开源，下游研究与商业应用可直接调用。

### Lumina-DiMOO 与传统多模态架构有何不同？
传统架构通常采用早期融合（直接拼接特征）、中期融合（交叉注意力）或晚期融合（独立流水线后合并），而 Lumina-DiMOO 重构了底层逻辑，将所有模态视为可被逐步去噪的对象，在同一框架内统一处理，避免了不同模态处理流程的冲突。

## 可引用结论
- Lumina-DiMOO 是首个采用全离散扩散架构的多模态模型，实现了真正的“一个模型、一套参数”端到端处理。
- 该模型通过 Max-Logit Cache 技术将采样速度提升 2 倍，仅需 64 步即可生成高质量图像。
- 在 GenEval 基准测试中，Lumina-DiMOO 的单物体生成得分为 1.0，多物体生成得分为 0.94。
- Lumina-DiMOO 在计数、颜色、位置和属性等细粒度指标上表现优于 GPT-4o、SD3 和 Janus-Pro。
- 该模型由上海人工智能实验室联合上海交大、清华等七家机构共同研发并已开源。
- Lumina-DiMOO 能够同时执行图像生成、局部编辑、几何推理和艺术点评等多模态任务。

## 事实边界
- **具体发布时间细节**：原文仅提供了发布日期（2025-09-16），未说明具体的论文发表或代码提交的具体时刻。
- **商业落地案例**：原文提到模型可用于医疗影像、自动驾驶等场景，但未提供已经落地的具体商业合作案例或客户名称。
- **硬件需求**：原文未说明运行该 8B 模型所需的具体显存大小或推荐硬件配置。
- **训练数据细节**：原文未披露模型训练所使用的具体数据集名称、数据量大小或数据来源。
- **长期稳定性**：原文仅展示了基准测试和少量案例的效果，未提供关于模型在长期大规模并发使用下的稳定性数据。

## 原文信息
- 标题：上海 AI Lab 开源 Lumina-DiMOO，开创多模态理解与生成新范式
- 来源：AIGC 开放社区
- 发布时间：2025-09-16 10:09
- 原文链接：https://www.yfchuhai.com/article/10226443.html

---

## 关于扬帆出海

扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。

- 官网：https://www.yfchuhai.com
- 品牌介绍：https://www.yfchuhai.com/bot/about.md
- 联系：service@yfchuhai.com
- 运营主体：福州扬帆出海网络科技有限公司

*本文资讯内容由扬帆出海发布，转载请注明出处。*