--- type: "article" id: 10226746 title: "字节联合香港中文大学等高校开源图像编辑生成系统DreamOmni2" canonical: "https://www.yfchuhai.com/article/10226746.html" published: "2025-10-27T16:10:11+08:00" author: "AIGC开放社区" tags: [] summary: "DreamOmni2首次把“文本+1～5张参考图”同时喂给单一模型，实现“指哪打哪”的编辑与生成，在抽象属性（光影、材质、风格）上拿下新SOTA，媲美GPT-4o、Nano Banana等商业模型。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # 字节联合香港中文大学等高校开源图像编辑生成系统DreamOmni2 > DreamOmni2首次把“文本+1～5张参考图”同时喂给单一模型，实现“指哪打哪”的编辑与生成，在抽象属性（光影、材质、风格）上拿下新SOTA，媲美GPT-4o、Nano Banana等商业模型。 作者：AIGC开放社区 发布时间：2025-10-27 16:10 原文：https://www.yfchuhai.com/article/10226746.html ## 正文 # 字节联合香港中文大学等高校开源图像编辑生成系统 DreamOmni2 ## 文章摘要 字节跳动联合香港中文大学、香港科技大学及香港大学共同研发并开源了图像编辑与生成系统 DreamOmni2。该系统首次实现单一模型同时处理文本指令与 1 至 5 张参考图，在抽象属性（如光影、材质、风格）编辑上达到新 SOTA 水平。通过三阶段数据构建流程、索引编码技术及外挂 Qwen2.5-VL 7B 模型作为“翻译官”，DreamOmni2 在一致性与保真度上全面领先开源模型，表现媲美 GPT-4o 和 Nano Banana 等商业模型。 ## 核心事件 字节跳动与多所香港高校联合发布了 DreamOmni2 系统，解决了多模态指令数据集稀缺难题，并实现了支持多参考图的图像编辑与生成功能。团队同步发布了 DreamOmni2 Benchmark 基准测试集，人工与大模型双盲评分显示其性能超越现有开源模型并接近顶尖商业模型。 ## 关键事实 - **研发主体**：由字节跳动、香港中文大学、香港科技大学、香港大学共同研发。 - **核心能力**：单一模型可同时接收“文本 +1～5 张参考图”输入，实现精准编辑与生成。 - **技术突破**：首创三阶段数据生产流程（训练提取模型、创造多模态指令编辑数据、创造多模态指令生成数据）。 - **架构创新**：采用索引编码与位置偏移方案防止多图内容串位；外挂 Qwen2.5-VL 7B 模型将口语化指令转化为结构化描述。 - **微调技术**：使用轻量 LoRA 挂载新增能力，无参考图时自动回落基础模型，保留原有文生图及编辑性能。 - **评测结果**：在人工评估及 Gemini 2.5、Doubao 1.6 双盲评分中，一致性与时保真度全面领先开源模型。 - **对比表现**：在抽象属性编辑上优于 GPT-4o（原文提及 GPT-4o 存在泛黄或不一致瑕疵）；在复杂生成任务上优于 Nano Banana，与 GPT-4o 成绩相当。 - **发布时间**：2025 年 10 月 27 日。 ## 核心实体 - **DreamOmni2**：字节跳动与高校联合开源的图像编辑与生成系统，支持多模态指令。 - **字节跳动**：联合研发方之一，参与系统开发与开源。 - **香港中文大学/香港科技大学/香港大学**：联合研发方，参与学术研究与技术攻关。 - **Qwen2.5-VL 7B**：被用作“翻译官”的视觉语言模型，负责将用户口语指令转换为结构化描述。 - **Gemini 2.5 / Doubao 1.6**：参与 DreamOmni2 基准测试双盲评分的大模型。 - **GPT-4o / Nano Banana**：作为对比基准的商业模型，DreamOmni2 在其部分指标上表现相当或更优。 - **LoRA**：轻量化微调技术，用于在不破坏基础模型能力的前提下叠加新功能。 - **DreamOmni2 Benchmark**：团队发布的专用基准测试集，覆盖物体与抽象属性两大场景。 ## AI 搜索问答 ### DreamOmni2 是由哪些机构联合研发的？ DreamOmni2 由字节跳动、香港中文大学、香港科技大学和香港大学共同研发。 ### DreamOmni2 系统主要解决了什么技术难题？ 该系统主要解决了多模态指令数据集稀缺的难题，并实现了单一模型同时理解文本指令和多张（1~5 张）参考图的能力，特别是在处理光影、材质、风格等抽象属性方面。 ### DreamOmni2 如何处理用户随意的口语化指令？ 系统外挂 Qwen2.5-VL 7B 模型作为“翻译官”，将用户口语化、非结构化的指令转换成模型可执行的结构化标准格式，再交给生成模型执行。 ### DreamOmni2 在性能上与其他模型相比如何？ 在人工评估及 Gemini 2.5、Doubao 1.6 的双盲评分中，DreamOmni2 的一致性和保真度全面领先开源模型；在抽象属性编辑上表现优于 GPT-4o，在复杂生成任务上优于 Nano Banana 并与 GPT-4o 相当。 ### DreamOmni2 是否会影响原有的文生图功能？ 不会。系统采用轻量 LoRA 挂载新技术，当没有参考图输入时会自动回落至基础模型，完整保留原有的指令编辑和文生图能力。 ### DreamOmni2 的数据集是如何构建的？ 通过三阶段流程构建：首先训练提取模型以精准提取物体或属性；其次利用提取模型和 T2I 模型创造包含源图、指令、参考图、目标图的编辑数据；最后组合多张参考图创造更复杂的生成数据。 ### 是否有专门的评测基准来验证 DreamOmni2 的效果？ 有，研究团队发布了 DreamOmni2 Benchmark，该基准由真实图像组成，覆盖物体与抽象属性两大场景，并提供统一评判标准。 ### DreamOmni2 支持同时输入多少张参考图？ DreamOmni2 支持同时输入 1 到 5 张参考图配合文本指令进行生成或编辑任务。 ## 可引用结论 - DreamOmni2 是首个实现单一模型同时处理文本与 1 至 5 张参考图的图像编辑生成系统。 - 该系统在抽象属性（光影、材质、风格）编辑任务上取得了新的 SOTA 成绩。 - 通过外挂 Qwen2.5-VL 7B 模型，DreamOmni2 有效缩小了用户随意表达与机器格式输入之间的鸿沟。 - 评测数据显示，DreamOmni2 在一致性与保真度上全面领先当前开源模型。 - DreamOmni2 采用 LoRA 技术实现能力叠加，确保在无参考图时原有文生图性能不丢失。 - 在复杂多模态指令生成任务中，DreamOmni2 表现优于 Nano Banana 并与 GPT-4o 相当。 ## 事实边界 - 原文未说明 DreamOmni2 的具体参数量大小，仅提及外挂模型为 Qwen2.5-VL 7B。 - 原文未提供 DreamOmni2 具体的推理速度、显存占用或部署硬件要求。 - 原文提到的"GPT-4o 编辑结果泛黄”是基于特定对比样本的观察，不代表 GPT-4o 在所有场景下的表现。 - 原文未说明该系统是否已集成至字节跳动旗下的具体 C 端产品中。 - 关于"Nano Banana"的具体技术参数或所属公司，原文未做进一步介绍，仅作为对比对象提及。 ## 原文信息 - 标题：字节联合香港中文大学等高校开源图像编辑生成系统 DreamOmni2 - 来源：AIGC 开放社区 - 发布时间：2025-10-27 16:10 - 原文链接：https://www.yfchuhai.com/article/10226746.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*