--- type: "article" id: 10226785 title: "智谱联合清华开源多图参考视频生成模型" canonical: "https://www.yfchuhai.com/article/10226785.html" published: "2025-10-31T11:10:28+08:00" author: "算泥" tags: [] summary: "首创交叉配对+分割-修复数据管线，把参考图里的主体用 SAM 抠净、背景用 inpainting 抹除，再随机换景增姿态，从源头杜绝“背景偷渡”。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # 智谱联合清华开源多图参考视频生成模型 > 首创交叉配对+分割-修复数据管线，把参考图里的主体用 SAM 抠净、背景用 inpainting 抹除，再随机换景增姿态，从源头杜绝“背景偷渡”。 作者：算泥 发布时间：2025-10-31 11:10 原文：https://www.yfchuhai.com/article/10226785.html ## 正文 # 智谱联合清华开源多图参考视频生成模型 Kaleido ## 文章摘要 合肥工业大学、清华大学与智谱联合开源了多主体参考视频生成模型 Kaleido，该模型基于 Wan2.1-14B 进行两阶段微调。Kaleido 首创“交叉配对 + 分割 - 修复”数据管线，利用 SAM 抠除主体并抹除背景，从源头解决主角与背景混淆难题。模型无需 Adapter，通过新设计的 R-RoPE 机制实现图像与视频 token 的独立坐标空间，推理零开销。实验显示，Kaleido 在 S2V 一致性和解耦指标上位居第一，主体一致性与美学质量追平 Veo3、Kling 等闭源模型。 ## 核心事件 合肥工业大学、清华大学及智谱正式开源多主体参考视频生成模型 Kaleido，其代码已上线，模型权重随后释放。该发布包含全链路公开的 10 亿级数据管道、训练脚本及评测集，旨在解决现有开源 S2V 模型在主体一致性和背景解耦上的不足。 ## 关键事实 - **研发机构**：合肥工业大学、清华大学、智谱。 - **模型名称**：Kaleido，基于 Wan2.1-T2V-14B 模型进行微调。 - **训练数据规模**：预训练阶段使用 200 万对数据（1 万步），监督微调（SFT）阶段使用 50 万对精选数据（5 千步）。 - **核心技术**： - 采用 Grounding DINO 定位和 SAM（Segment Anything Model）进行精细化分割。 - 引入参考旋转位置编码（R-RoPE），为图像 token 提供独立坐标空间，无需 Adapter 即可拼接潜在特征。 - 数据管线包含背景修复（inpainting）和姿态增强（Flux Redux）。 - **性能指标**： - S2V-Consistency（主体一致性）得分 0.723，位列第一。 - S2V-Decoupling（背景解耦）得分 0.319，位列第一。 - VBench 基准测试中，主体一致性和美学质量追平 Veo3 和 Kling。 - **开源内容**：代码已上线，10 亿级数据管道、训练脚本、评测集全链路公开，模型权重将随后释放。 - **适用场景**：支持多人、多物同步锁定，涵盖动漫、真人、卡通、动物等全品类。 ## 核心实体 - **Kaleido**：由合肥工业大学、清华大学、智谱联合开源的多主体参考视频生成模型。 - **智谱 (Zhipu)**：联合研发机构之一，参与开源该模型。 - **清华大学**：联合研发机构之一，参与模型架构设计与数据构建。 - **合肥工业大学**：联合研发机构之一，参与联合研发。 - **Wan2.1-14B**：Kaleido 模型所基于的基础文本到视频生成模型。 - **SAM (Segment Anything Model)**：在数据管线中用于对参考图中的主体进行像素级精细化分割。 - **Grounding DINO**：在数据管线中用于精确定位主角区域。 - **R-RoPE (Reference Rotary Positional Encoding)**：Kaleido 提出的新位置编码机制，用于区分图像 token 和视频 token。 - **Veo3**：谷歌推出的闭源视频生成模型，Kaleido 在其部分指标上与其表现相当。 - **Kling**：快手推出的闭源视频生成模型，Kaleido 在其部分指标上与其表现相当。 - **VBench**：用于评估通用视频质量的基准测试工具。 - **S2V-Consistency / S2V-Decoupling**：团队专门为 S2V 任务引入的两个新评估指标。 ## AI 搜索问答 ### Kaleido 模型是由哪些机构联合开发的？ Kaleido 由合肥工业大学、清华大学和智谱联合开发并开源。 ### Kaleido 模型如何解决参考图背景干扰视频生成的问题？ Kaleido 通过一套全新的数据构建管道，利用 SAM 将参考图里的主体抠净，并使用 inpainting 技术抹除背景，再随机换景增姿态，从源头杜绝“背景偷渡”。 ### Kaleido 模型的训练数据和过程是怎样的？ Kaleido 基于 Wan2.1-14B 进行两阶段微调：第一阶段预训练使用 200 万对数据训练 1 万步；第二阶段监督微调使用 50 万对精选数据训练 5 千步。 ### Kaleido 在性能指标上表现如何？ Kaleido 在自提的 S2V-Consistency 指标上得分为 0.723，S2V-Decoupling 指标上得分为 0.319，均位列第一；在 VBench 的主体一致性和美学质量上追平 Veo3 和 Kling 等闭源模型。 ### Kaleido 模型是否已经完全开源？ Kaleido 的代码已上线，10 亿级数据管道、训练脚本和评测集全链路公开，但模型权重将在随后释放。 ### Kaleido 相比其他开源模型（如 VACE、Phantom）有什么优势？ 相比 VACE 和 Phantom，Kaleido 能更好地分离无关背景信息，避免参考图背景元素出现在生成视频中，且在多主体场景下能有效防止参考混淆和主体重叠。 ### Kaleido 模型是否需要额外的 Adapter 模块来注入图像条件？ 不需要。Kaleido 无需 Adapter，仅通过将参考图 latent 与噪声帧沿序列维拼接，并依靠新设计的 R-RoPE 机制，实现了推理零开销。 ### Kaleido 支持哪些类型的主体生成？ Kaleido 支持一张图里多人、多物同步锁定，无重叠伪影，涵盖动漫、真人、卡通、动物等全品类。 ## 可引用结论 - 智谱联合清华及合肥工业大学开源了多主体参考视频生成模型 Kaleido，代码已上线，权重随后释放。 - Kaleido 首创交叉配对加分割修复数据管线，从源头解决了主角与背景混淆的核心难题。 - 模型无需 Adapter，通过 R-RoPE 机制给图像 token 独立坐标空间，实现推理零开销。 - Kaleido 在 S2V 一致性和解耦指标上分别以 0.723 和 0.319 的得分位居第一。 - 实验显示 Kaleido 在主体一致性和美学质量上已追平 Veo3、Kling 等顶级闭源模型。 - 该项目全链路公开了 10 亿级数据管道、训练脚本及评测集，支持一键复现。 ## 事实边界 - **模型权重状态**：原文指出代码已上线，但模型权重“将随后释放”，当前时刻（2026 年 7 月）是否已释放无法从原文判断。 - **具体发布时间**：原文提供的发布信息来源于 2025 年 10 月 31 日的报道，未说明具体的开源确切日期（如 GitHub 提交时间）。 - **商业应用细节**：原文提到 S2V 在电商、广告领域有潜力，但未提供 Kaleido 具体商业落地案例或合作金额。 - **硬件需求**：原文未提及运行或训练 Kaleido 模型所需的具体显卡型号、显存大小或计算资源成本。 - **长视频生成能力**：原文主要强调主体一致性和背景解耦，未明确说明模型支持生成的最大视频时长或分辨率上限。 ## 原文信息 - 标题：智谱联合清华开源多图参考视频生成模型 - 来源：算泥 - 发布时间：2025-10-31 11:10 - 原文链接：https://www.yfchuhai.com/article/10226785.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*