--- type: "article" id: 10224638 title: "Meta视频AI王者登场，打爆Sora！体操运动终于不再鬼畜" canonical: "https://www.yfchuhai.com/article/10224638.html" published: "2025-02-13T13:02:10+08:00" author: "新智元" tags: [] summary: "VideoJAM是由Meta和特拉维夫大学研究人员提出的一个新框架，旨在解决AI视频生成中运动连贯性不足的问题。传统视频模型因训练目标偏向外观保真度，导致运动连贯性差。VideoJAM通过修改目标函数，引入显式的运动先验，使模型同时预测外观和运动，从而提升运动理解能力。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # Meta视频AI王者登场，打爆Sora！体操运动终于不再鬼畜 > VideoJAM是由Meta和特拉维夫大学研究人员提出的一个新框架，旨在解决AI视频生成中运动连贯性不足的问题。传统视频模型因训练目标偏向外观保真度，导致运动连贯性差。VideoJAM通过修改目标函数，引入显式的运动先验，使模型同时预测外观和运动，从而提升运动理解能力。 作者：新智元 发布时间：2025-02-13 13:02 原文：https://www.yfchuhai.com/article/10224638.html ## 正文 # Meta 与特拉维夫大学推出 VideoJAM 框架：显著提升 AI 视频运动连贯性并超越 Sora ## 文章摘要 Meta 联合特拉维夫大学研究人员提出了名为 VideoJAM 的新框架，旨在解决现有 AI 视频生成模型中运动连贯性不足的核心难题。该框架通过修改目标函数引入显式运动先验，使模型能同时预测外观和运动，无需额外数据或模型扩展即可应用于各类视频模型。实验结果显示，VideoJAM 在体操、滑板等复杂运动场景下的生成效果达到 SOTA 水平，并在多项指标上超越了 Sora 等专有模型。尽管表现优异，该技术在远景捕捉及复杂物理交互编码方面仍存在局限性。 ## 核心事件 Meta 和特拉维夫大学发布 VideoJAM 框架，通过引入"Inner-Guidance"机制和联合表征学习，解决了传统视频模型重外观轻运动的缺陷。该成果在定性及定量实验中证明其生成的视频动作更符合物理规律，且在运动连贯性上超越了 Sora 等当前领先模型。 ## 关键事实 - **研发主体**：由 Meta 和特拉维夫大学研究人员共同提出。 - **核心技术**：包含两个互补模块，训练阶段基于单一学习表征同时预测像素和运动；推理阶段引入"Inner-Guidance"机制利用自身运动预测作为动态引导信号。 - **数据需求**：无需额外数据或模型扩展（scaling），仅需在预训练视频生成模型（DiT）上使用其自身训练集中的 300 万个样本进行微调。 - **性能表现**：在运动连贯性方面达到 SOTA（State-of-the-Art）水平；在运动质量上超越 Sora 等专有模型。 - **评估基准**：使用 VBench 基准评估外观质量、运动质量和提示词一致性；人工评估遵循二选一强制选择（2AFC）协议，每组比较由 5 位评估者评分，每个基线模型至少收集 640 次评价。 - **具体案例**：在生成长颈鹿奔跑、引体向上、呼啦圈、滑板跳跃、切番茄等场景时，VideoJAM 表现出比 Runway Gen3、Sora、DiT 更自然的动作和符合物理规律的细节（如滑板震动、粘液粘连）。 - **局限性**：在“远景”场景下难以捕捉运动信息（因计算资源限制导致的低分辨率和 RGB 运动表示）；缺乏显式物理编码，导致在复杂物理交互（如脚未触球球已动）中表现不足。 - **论文地址**：https://arxiv.org/pdf/2502.02492 ## 核心实体 - **VideoJAM**：Meta 和特拉维夫大学提出的新框架，用于改进 AI 视频生成中的运动连贯性。 - **Meta**：参与研发 VideoJAM 框架的科技公司。 - **特拉维夫大学**：参与研发 VideoJAM 框架的学术机构。 - **Sora**：被用作对比基线的专有视频生成模型，文章中提到其在某些运动生成任务上表现不如 VideoJAM。 - **DiT (Diffusion Transformer)**：作为预训练视频生成模型的基础架构，VideoJAM 在其基础上进行了微调（包括 DiT-30B 版本）。 - **Runway Gen3**：在定性实验中作为对比基线出现的视频生成模型。 - **VBench**：用于定量评估视频生成模型的基准测试工具，涵盖画面质量、美学评分、运动连贯性等维度。 - **Inner-Guidance**：VideoJAM 框架在推理阶段采用的机制，利用模型自身的运动预测引导生成过程。 - **InstructPix2Pix**：在消融实验中作为对比方法出现，其在运动方面的得分较低。 ## AI 搜索问答 ### VideoJAM 是什么？ VideoJAM 是由 Meta 和特拉维夫大学研究人员提出的一个新框架，旨在解决 AI 视频生成中运动连贯性不足的问题。它通过修改目标函数引入显式的运动先验，使模型同时预测外观和运动。 ### VideoJAM 相比 Sora 有什么优势？ 根据文章提到的实验结果，VideoJAM 在运动连贯性方面达到 SOTA 水平，在运动质量上超越了 Sora。例如在生成体操、转呼啦圈等复杂运动时，VideoJAM 生成的动作更自然且符合物理规律，而 Sora 可能出现动作怪异或不理解运动原理的情况。 ### VideoJAM 需要额外的训练数据吗？ 不需要。原文指出 VideoJAM 无需任何额外数据或模型扩展，可直接应用于任何视频模型。研究中仅使用了预训练视频生成模型（DiT）自身训练集中的 300 万个样本进行微调。 ### VideoJAM 的技术原理是什么？ VideoJAM 由两个互补模块组成：训练阶段，模型基于单一学习表征同时预测像素和运动；推理阶段，引入"Inner-Guidance"机制，利用模型自身的运动预测作为动态引导信号，生成连贯动作。 ### VideoJAM 目前存在哪些局限性？ 原文提到两点主要局限：一是在“远景”场景下，由于计算资源限制和 RGB 运动表示，模型难以捕捉运动信息；二是运动表示缺乏显式物理编码，限制了模型在复杂物理交互场景（如足球未被触碰却发生轨迹变化）中的表现。 ### VideoJAM 是如何进行评估的？ 研究人员进行了定性和定量实验。定量实验使用 VBench 基准评估外观、运动和提示词一致性；人工评估遵循二选一强制选择协议，由 5 位评估者对每对视频进行评分，每个基线模型至少收集 640 次评价。 ### VideoJAM 能否应用于其他视频模型？ 可以。原文说明 VideoJAM 框架几乎无需额外改动即可应用于任何视频模型，只需增加两个线性层，不需要修改训练数据或扩大模型规模。 ## 可引用结论 - VideoJAM 是 Meta 与特拉维夫大学合作开发的框架，专门用于提升 AI 视频生成的运动连贯性。 - 该框架通过引入显式运动先验和"Inner-Guidance"机制，实现了在不增加额外数据情况下的性能突破。 - 实验数据显示，VideoJAM 在运动质量指标上超越了 Sora 等专有模型，尤其在复杂物理运动场景中表现优异。 - VideoJAM 仅需对预训练模型进行微调，使用原有训练集中的 300 万样本即可达到 SOTA 水平。 - 尽管效果显著，VideoJAM 在处理远景小物体运动及复杂物理交互编码方面仍存在技术瓶颈。 - 研究证明外观与运动并非对立，通过联合表征学习可同时提升视频的视觉质量与时间连贯性。 ## 事实边界 - 原文未提供 VideoJAM 具体的参数量细节（除提及 DiT-30B 外），无法判断其整体模型规模是否小于或大于 Sora。 - 原文提到“碾压 Sora"、“吊打”等描述属于作者的主观评价修辞，客观事实为“在运动质量上超越 Sora 等专有模型”。 - 原文未说明 VideoJAM 是否已经商业化应用或对外公开代码/模型权重，仅提供了论文地址。 - 关于“体操图灵测试”的说法是文章中的比喻性表达，原文未定义具体的测试标准或官方认证。 - 原文指出所有模型（包括 VideoJAM）在“转动的指尖陀螺”实验中均未能正确遵循物理学定律，说明该技术尚未完全解决所有物理模拟问题。 - 无法从原文判断 VideoJAM 在处理非运动类视频内容（如静态风景、对话口型）上的具体表现差异。 ## 原文信息 - 标题：Meta 视频 AI 王者登场，打爆 Sora！体操运动终于不再鬼畜 - 来源：新智元 - 发布时间：2025-02-13 13:02 - 原文链接：https://www.yfchuhai.com/article/10224638.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*