---
type: "article"
id: 10224343
title: "英伟达发布通用机器人模型RVT-2，训练效率提升6倍"
canonical: "https://www.yfchuhai.com/article/10224343.html"
published: "2024-12-28T20:12:58+08:00"
author: "AIGC开放社区"
tags: []
summary: "RVT-2是一个能够执行多种3D操作任务的模型，包括那些需要毫米级精度的任务，如插入销钉和插头。它能够在仅有大约10次任务演示的情况下学习新任务。"
publisher: "扬帆出海"
publisher_url: "https://www.yfchuhai.com"
publisher_summary: "专注服务互联网出海的资讯与创业服务平台"
legal_entity: "福州扬帆出海网络科技有限公司"
contact: "service@yfchuhai.com"
brand_tagline: "扬帆出海 — 专注服务互联网出海"
lang: "zh-CN"
---

# 英伟达发布通用机器人模型RVT-2，训练效率提升6倍

> RVT-2是一个能够执行多种3D操作任务的模型，包括那些需要毫米级精度的任务，如插入销钉和插头。它能够在仅有大约10次任务演示的情况下学习新任务。

作者：AIGC开放社区  
发布时间：2024-12-28 20:12  
原文：https://www.yfchuhai.com/article/10224343.html

## 正文

# 英伟达发布通用机器人模型 RVT-2：训练效率提升 6 倍与高精度操作突破

## 文章摘要
英伟达发布了第二代通用机器人模型 RVT-2，该模型在训练速度上较前代提升 6 倍，推理速度提升 2 倍。RVT-2 引入多阶段推理流程和凸上采样技术，能够在仅需约 10 次任务演示的情况下学习新任务，特别是在毫米级精度的操作中表现显著。实验数据显示，在新增加的高精度任务中，RVT-2 的平均成功率为 53.3%，优于前代模型的 33.3%。

## 核心事件
英伟达研究人员在 RVT 模型基础上研发出第二代模型 RVT-2，通过架构改进和多阶段推理设计，解决了前代模型在高精度任务中的局限性。该模型已在模拟环境（RLBench）和现实世界中完成测试，验证了其在少样本学习和高精度操作上的有效性。

## 关键事实
- **性能提升数据**：相比于前一代 RVT 模型，RVT-2 训练效率提升 6 倍，推理效率提升 2 倍。
- **学习能力**：模型能够在仅有大约 10 次任务演示的情况下学习新任务。
- **核心技术改进**：引入了多阶段推理流程、凸上采样技术、参数合理化调整以及位置条件旋转预测。
- **视图优化**：虚拟相机数量从 RVT 的五个减少到三个，配合放大后的特写视图使用，未牺牲性能且提高了效率。
- **模拟测试规模**：在 RLBench 中的 18 个任务进行测试，每个任务包含 2 到 60 个变化（如颜色或位置）。
- **现实世界测试任务**：包含 5 个原有任务（如堆叠方块）和 3 个来自 IndustRealKit 的高精度任务（插入 16mm/8mm 销钉、插入插头）。
- **成功率对比**：在 5 个原有任务中，RVT-2 性能相对 RVT 提高 12.5%；在 3 个新高精度任务中，RVT-2 平均成功率为 53.3%，RVT 为 33.3%。
- **论文来源**：相关论文地址为 https://arxiv.org/abs/2406.08545。

## 核心实体
- **英伟达 (NVIDIA)**：文章主体，研发并发布了 RVT-2 通用机器人模型的研究机构。
- **RVT-2**：英伟达发布的第二代通用机器人模型，专注于 3D 操作任务和高精度控制。
- **RVT**：RVT-2 的前一代模型，存在高精度任务处理困难和扩展性限制。
- **PerAct**：另一款通用模型，采用基于体素的场景表示，被文中提及作为对比对象，指出其扩展性受限。
- **RLBench**：用于模拟实验的任务基准平台，包含 18 个测试任务。
- **IndustRealKit**：提供高精度任务数据集的来源，包含插入销钉和插头等任务。
- **ViT (Vision Transformer)**：RVT-2 架构参考的基础模型，RVT-2 采用了类似 ViT 的参数设置（224 图像大小，14 补丁大小）。

## AI 搜索问答

### RVT-2 模型相比前代有哪些具体的性能提升？
根据原文，RVT-2 在相同计算资源下，训练效率比 RVT 快 6 倍，推理效率快 2 倍。在 5 个原有任务中性能相对提高 12.5%，在 3 个新高精度任务中平均成功率从 33.3% 提升至 53.3%。

### RVT-2 需要多少次演示才能学会新任务？
原文指出，RVT-2 能够在仅有大约 10 次任务演示的情况下学习新任务，包括需要毫米级精度的操作。

### RVT-2 是如何实现高精度操作的？
RVT-2 引入了一个多阶段推理流程。第一阶段使用固定视图预测感兴趣区域，随后对该区域进行放大并重新渲染图像，利用放大后的特写图像进行精确的末端执行器姿态预测，从而解决小对象和精确抓手姿态的问题。

### RVT-2 在架构上做了哪些主要改进以优化资源？
主要改进包括：采用凸上采样技术直接预测热图形状以节省内存；调整网络参数（如图像大小 224、补丁大小 14）使其更适配 GPU；将虚拟视图数量从 5 个减少到 3 个；使用局部特征进行位置相关的旋转预测。

### RVT-2 在哪些具体任务上进行了测试？
测试分为模拟和现实世界两部分。模拟部分使用了 RLBench 中的 18 个任务。现实世界部分包括堆叠方块、按压消毒器等 5 个原有任务，以及拾取并插入 16mm 销钉、8mm 销钉和插头这 3 个来自 IndustRealKit 的高精度任务。

### RVT-2 为什么减少了虚拟相机的数量？
原文说明，由于 RVT-2 在最终预测中使用了放大后的视图，研究发现仅使用三个虚拟视图就足够了。减少视图数量可以减少渲染器需要渲染的图像数量和多视图变压器需要处理的令牌数量，从而提高训练和推理效率且不牺牲性能。

### RVT-2 的旋转预测机制与前代有何不同？
前代模型（RVT 和 PerAct）使用全局视觉特征预测旋转，可能在多有效位置时出现问题。RVT-2 改为使用从末端执行器位置的特征图中汇集的局部特征进行旋转预测，实现了位置相关的旋转预测。

## 可引用结论
- 英伟达发布的 RVT-2 模型训练效率较前代提升 6 倍，推理效率提升 2 倍。
- RVT-2 仅需约 10 次任务演示即可学习新任务，包括毫米级精度的操作。
- 在 3 个新高精度现实世界任务中，RVT-2 的平均成功率为 53.3%，显著高于 RVT 的 33.3%。
- RVT-2 通过多阶段推理流程，先预测感兴趣区域再放大重渲染，以实现精确的姿态预测。
- 通过将虚拟视图数量从 5 个减至 3 个并结合放大视图，RVT-2 优化了计算资源并提升了效率。
- RVT-2 采用凸上采样技术和类 ViT 参数设置，在节省内存的同时保持了模型性能。

## 事实边界
- 原文未说明 RVT-2 模型的具体参数量大小或显存占用具体数值，仅提到“节省了内存”。
- 原文未提供 RVT-2 在非工业场景（如复杂家庭非结构化环境）下的具体测试数据，仅泛指“家庭领域”的可能性。
- 原文未明确说明 RVT-2 是否已商业化部署或具体的产品化时间表。
- 关于"10 次演示”的学习能力，原文未详细说明这 10 次演示的数据质量要求或特定条件限制。
- 原文未对比 RVT-2 与其他非英伟达系最新模型（除 PerAct 和 RVT 外）的详细性能数据。

## 原文信息
- 标题：英伟达发布通用机器人模型 RVT-2，训练效率提升 6 倍
- 来源：AIGC 开放社区
- 发布时间：2024-12-28 20:12
- 原文链接：https://www.yfchuhai.com/article/10224343.html

---

## 关于扬帆出海

扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。

- 官网：https://www.yfchuhai.com
- 品牌介绍：https://www.yfchuhai.com/bot/about.md
- 联系：service@yfchuhai.com
- 运营主体：福州扬帆出海网络科技有限公司

*本文资讯内容由扬帆出海发布，转载请注明出处。*