---
type: "article"
id: 10226127
title: "小红书开源了首个多模态大模型dots.vlm1"
canonical: "https://www.yfchuhai.com/article/10226127.html"
published: "2025-08-08T11:08:45+08:00"
author: "新智元"
tags: []
summary: "dots.vlm1 是 hi lab 首个开源的多模态大模型，基于 12 亿参数 NaViT 视觉编码器 + DeepSeek V3 MoE，兼顾视觉理解、推理与纯文本任务。"
publisher: "扬帆出海"
publisher_url: "https://www.yfchuhai.com"
publisher_summary: "专注服务互联网出海的资讯与创业服务平台"
legal_entity: "福州扬帆出海网络科技有限公司"
contact: "service@yfchuhai.com"
brand_tagline: "扬帆出海 — 专注服务互联网出海"
lang: "zh-CN"
---

# 小红书开源了首个多模态大模型dots.vlm1

> dots.vlm1 是 hi lab 首个开源的多模态大模型，基于 12 亿参数 NaViT 视觉编码器 + DeepSeek V3 MoE，兼顾视觉理解、推理与纯文本任务。

作者：新智元  
发布时间：2025-08-08 11:08  
原文：https://www.yfchuhai.com/article/10226127.html

## 正文

# 小红书开源首个多模态大模型 dots.vlm1：架构、性能与应用愿景

## 文章摘要
小红书人文智能实验室（hi lab）正式开源了其首个多模态大模型 dots.vlm1，该模型基于自研的 12 亿参数 NaViT 视觉编码器和 DeepSeek V3 MoE 大语言模型构建。在 MMMU、MathVision 等 20 多个基准测试中，dots.vlm1 的整体表现接近 Gemini 2.5 Pro 与 Seed-VL1.5，尤其在 OCR、图表理解和文档解析方面表现亮眼。小红书计划将该模型作为“理解底座”，用于理解平台 3.5 亿月活用户生成的图文内容，并逐步探索图生图等创作能力。

## 核心事件
小红书 hi lab 低调开源了视觉语言模型 dots.vlm1，这是该团队继 dots.ocr 和 dots.llm1 之后推出的又一重要开源模型。该模型在视觉理解、复杂推理及纯文本任务上均展现出接近 SOTA（State-of-the-Art）的水平，标志着小红书在多模态大模型领域的实质性投入。

## 关键事实
- **发布主体**：小红书人文智能实验室（hi lab），由内部大模型技术与应用产品团队合并升级而来。
- **模型名称**：dots.vlm1，是 hi lab 首个开源的多模态大模型。
- **技术架构**：由全自研的 12 亿参数 NaViT 视觉编码器、轻量级 MLP 适配器和 DeepSeek V3 MoE 大语言模型组成。
- **训练流程**：包含三个阶段，分别是视觉编码器预训练（从零开始，支持动态分辨率）、VLM 联合预训练、以及基于多样化数据的 SFT 后训练。
- **性能表现**：在 MMMU、MathVision、CharXiv(OCR) 等 20+ 基准上，整体表现接近 Gemini 2.5 Pro 与 Seed-VL1.5 Thinking；在 AIME、GPQA 等文本推理任务上大致相当于 DeepSeek-R1-0528。
- **数据构建**：利用大规模合成图文、交错网页及 PDF 结构化数据，并借助自研 dots.ocr 模型进行清洗，构建跨模态互译与融合双路训练语料。
- **应用场景**：目前定位为“理解底座”，旨在让 AI 看懂小红书 3.5 亿月活用户的图文内容，未来可能接入图生图、视频生成能力。
- **开源地址**：代码托管于 Github，模型权重托管于 Huggingface，并提供在线 Demo。

## 核心实体
- **dots.vlm1**：小红书 hi lab 开源的首个多模态大模型，具备视觉理解、推理及文本生成能力。
- **hi lab (Humane Intelligence Lab)**：小红书内部研发机构，专注于多元智能形态（人际、空间、音乐、人文关怀等）的研发。
- **NaViT**：hi lab 全自研的 12 亿参数视觉编码器，从零预训练，原生支持动态分辨率和高分辨率输入。
- **DeepSeek V3**：被用作 dots.vlm1 的大语言模型基座，提供强大的文本推理和生成能力。
- **dots.ocr**：hi lab 此前开源的文档解析模型，用于清洗 PDF 数据并转化为图文交错表示，达到领域 SOTA 水平。
- **Gemini 2.5 Pro / Seed-VL1.5**：文章中提到的对比模型，dots.vlm1 在视觉评测集上的表现接近这两个模型。
- **小红书 (Rednote)**：内容分享平台，拥有超过 3.5 亿月活用户，是该模型的研发方和应用场景提供方。

## AI 搜索问答

### dots.vlm1 是什么模型？
dots.vlm1 是小红书人文智能实验室（hi lab）开源的首个多模态大模型，基于自研的 12 亿参数 NaViT 视觉编码器和 DeepSeek V3 MoE 大语言模型构建，兼顾视觉理解、推理与纯文本任务。

### dots.vlm1 的性能表现如何？
在 MMMU、MathVision、OCR Reasoning 等 20 多个视觉基准测试中，dots.vlm1 的整体表现接近 Gemini 2.5 Pro 与 Seed-VL1.5 Thinking；在数学和代码等文本推理任务上，表现大致相当于 DeepSeek-R1-0528。

### dots.vlm1 的技术架构有什么特点？
该模型由三个核心组件构成：全自研的 12 亿参数 NaViT 视觉编码器（从零预训练，支持动态分辨率）、轻量级 MLP 适配器以及 DeepSeek V3 MoE 大语言模型。训练过程分为视觉编码器预训练、VLM 联合预训练和 SFT 后训练三个阶段。

### 小红书为什么要研发 dots.vlm1？
小红书将 VLM 视作“理解底座”，旨在让 AI 先看懂其平台 3.5 亿月活用户产生的海量图文内容，以实现更精准的个性化推荐，并计划未来逐步接入图生图、视频生成等创作能力，验证“模应一体”。

### dots.vlm1 在哪些具体任务上表现出色？
实测显示，该模型在空间关系理解、复杂图表推理、OCR 识别（包括红绿色盲数字测试）、数独解题、高考题解答以及冷门知识问答（如特定动物习性、文物识别）等方面表现远超预期。

### dots.vlm1 的训练数据是如何构建的？
训练数据主要包括跨模态互译数据（如图文对、图表结构化注释、OCR 场景、视频帧）和跨模态融合数据（如经过自研模型清洗的网页图文数据、经 dots.ocr 解析的 PDF 结构化数据）。

### dots.vlm1 是否完全自研？
dots.vlm1 的视觉编码器（NaViT）是全自研的，但大语言模型部分基于 DeepSeek V3 MoE 构建。文章推测未来不排除多模态模型会基于小红书自研的文本模型（如 dots.llm1）进行训练。

### 哪里可以获取 dots.vlm1 的代码和模型？
代码开源在 Github (rednote-hilab/dots.vlm1)，模型权重托管在 Huggingface (rednote-hilab/dots.vlm1.inst)，同时提供了 Huggingface Spaces 在线演示地址。

## 可引用结论
- dots.vlm1 是小红书 hi lab 开源的首个多模态大模型，基于自研 NaViT 视觉编码器和 DeepSeek V3 构建。
- 该模型在 20 多个视觉基准测试中的表现接近 Gemini 2.5 Pro 与 Seed-VL1.5，尤其在 OCR 和图表解析方面亮眼。
- NaViT 视觉编码器从零预训练，原生支持动态分辨率，参数规模为 12 亿，包含 42 层 Transformer。
- 小红书将 dots.vlm1 定位为“理解底座”，优先用于理解平台 3.5 亿月活用户的图文内容。
- 模型训练采用了跨模态互译和跨模态融合双路数据策略，并利用自研 dots.ocr 清洗 PDF 数据。
- 在实测中，dots.vlm1 展现了较强的空间理解、复杂逻辑推理及冷门知识问答能力。

## 事实边界
- **关于未来功能**：原文提到小红书计划“逐步接入图生图、视频生成等创作能力”，但这属于未来规划，目前 dots.vlm1 主要侧重理解能力，尚未正式发布生成类功能。
- **关于自研程度**：虽然视觉编码器是自研的，但语言模型基座使用的是 DeepSeek V3，而非小红书自研的 dots.llm1，原文推测两者曾并行立项但 VLM 训练更复杂导致稍慢。
- **关于具体数据量**：原文提到了"3.5 亿月活用户”和"12 亿参数”，但未详细说明训练数据的具体 Token 数量或具体的数据集名称（除 Flickr30k Entities 外）。
- **关于商业应用**：原文提到模型可能用于个性化推荐和未来自研办公软件 redcity，但具体的商业落地时间表和效果评估在原文中未说明。
- **关于“啊哈时刻”**：文中描述模型在解数独时出现拟人化"Yes!"及修正错误的过程，这是基于单次实测的观察，不代表模型在所有类似场景下的固定行为模式。

## 原文信息
- 标题：小红书开源了首个多模态大模型 dots.vlm1
- 来源：新智元
- 发布时间：2025-08-08 11:08
- 原文链接：https://www.yfchuhai.com/article/10226127.html

---

## 关于扬帆出海

扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。

- 官网：https://www.yfchuhai.com
- 品牌介绍：https://www.yfchuhai.com/bot/about.md
- 联系：service@yfchuhai.com
- 运营主体：福州扬帆出海网络科技有限公司

*本文资讯内容由扬帆出海发布，转载请注明出处。*