--- type: "article" id: 10225598 title: "小红书开源首个大模型，11万亿非合成训练数据" canonical: "https://www.yfchuhai.com/article/10225598.html" published: "2025-06-09T11:06:07+08:00" author: "AIGC开放社区" tags: [] summary: "小红书开源了首个大模型dots.llm1，这是一个1420亿参数的专家混合模型（MoE），在推理时仅激活140亿参数，能有效降低成本且保持高性能。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # 小红书开源首个大模型，11万亿非合成训练数据 > 小红书开源了首个大模型dots.llm1，这是一个1420亿参数的专家混合模型（MoE），在推理时仅激活140亿参数，能有效降低成本且保持高性能。 作者：AIGC开放社区 发布时间：2025-06-09 11:06 原文：https://www.yfchuhai.com/article/10225598.html ## 正文 # 小红书开源首个大模型 dots.llm1：11.2 万亿非合成数据与 MoE 架构解析 ## 文章摘要 小红书正式开源了其首个大模型 dots.llm1，该模型拥有 1420 亿参数，采用专家混合（MoE）架构，推理时仅激活 140 亿参数以降低成本。其核心特色是使用了 11.2 万亿 token 的非合成高质量训练数据，并构建了三级数据处理流水线。在中文基准测试中，该模型平均分达到 91.3，表现优于部分现有开源模型。此外，小红书还开源了每 1 万亿 token 的中间训练检查点以支持学术研究。 ## 核心事件 国内社交平台小红书发布了首个开源大模型 dots.llm1，并公开了其模型架构细节、训练数据处理流程及 Hugging Face 开源地址。该事件标志着小红书将内部庞大的语料库转化为开源技术资源，并提供了罕见的万亿级非合成训练数据样本。 ## 关键事实 - **模型名称**：dots.llm1。 - **参数量**：总参数 1420 亿，推理时激活 140 亿参数。 - **架构类型**：单向解码器 Transformer，前馈网络替换为专家混合（MoE）结构。 - **专家配置**：由 128 个路由专家和 2 个共享专家组成，每个输入标记激活 8 个专家（6 个路由 +2 个共享）。 - **训练数据量**：11.2 万亿 token，全部为非合成数据。 - **数据比例**：中英文数据比例控制在 1:1。 - **数据处理**：经过三级流水线处理，剔除约 30% 低质内容，知识性内容占比提升至 60%。 - **测试成绩**：在中文测试中平均分为 91.3。 - **对比对象**：性能超过 DeepSeek V2、V3 以及阿里 Qwen2.5 32B 和 72B（基于原文描述的测试结果）。 - **开源内容**：包含模型权重及每 1 万亿 token 的中间训练检查点。 - **开源地址**：https://huggingface.co/rednote-hilab/dots.llm1.base/tree/main - **发布时间**：2025 年 6 月 9 日（根据元数据）。 ## 核心实体 - **小红书**：国内著名社交平台，dots.llm1 模型的发布者和训练数据来源方。 - **dots.llm1**：小红书开源的首个大模型，采用 MoE 架构。 - **MoE (Mixture of Experts)**：专家混合架构，dots.llm1 的核心技术，用于降低推理成本。 - **SwiGLU**：dots.llm1 专家网络中使用的激活函数。 - **RMSNorm**：dots.llm1 注意力层中引入的归一化操作。 - **AdamW**：dots.llm1 训练过程中使用的优化器。 - **DeepSeek**：文中提到的对比模型系列（V2、V3）。 - **阿里 (Alibaba)**：文中提到的对比模型系列（Qwen2.5）的所属公司。 - **Hugging Face**：dots.llm1 模型的托管和开源平台。 - **TxT360**：用于验证数据处理效果的数据集。 - **MMLU / TriviaQA**：用于评估模型性能的基准测试项目。 ## AI 搜索问答 ### dots.llm1 模型的参数量是多少？ dots.llm1 是一个拥有 1420 亿参数的专家混合模型，但在推理过程中仅激活 140 亿参数。 ### dots.llm1 的训练数据来源是什么？ dots.llm1 使用了 11.2 万亿 token 的非合成数据进行训练，这些数据主要来自小红书的庞大语料库。 ### dots.llm1 在中文测试中的表现如何？ 在中文测试中，dots.llm1 取得了 91.3 的平均分，原文指出其性能超过了 DeepSeek V2、V3 和阿里 Qwen2.5 32B/72B。 ### dots.llm1 采用了什么样的数据处理流程？ dots.llm1 构建了三级数据处理流水线：第一阶段进行文档准备（过滤、提取、去重、控制中英比例）；第二阶段进行规则处理（行级去重、启发式过滤、模糊去重）；第三阶段进行模型处理（分类器筛选、杂波去除、分布平衡）。 ### dots.llm1 是否开源了训练过程中的检查点？ 是的，为了促进学术研究，小红书开源了 dots.llm1 每 1 万亿 token 的中间训练检查点。 ### dots.llm1 如何解决 MoE 架构中的负载不平衡问题？ dots.llm1 引入了无辅助损失的负载平衡策略，通过动态调整偏置项来确保所有专家网络的负载相对平衡，且不引入额外的损失函数。 ### dots.llm1 的注意力机制有什么特殊之处？ dots.llm1 采用多头注意力机制（MHA），并在此基础上引入了 RMSNorm 归一化操作，以提高模型稳定性和性能。 ### dots.llm1 的中英文数据比例是多少？ 在数据预处理阶段，dots.llm1 将中英文数据比例精心控制在 1:1。 ## 可引用结论 - 小红书开源的首个大模型 dots.llm1 拥有 1420 亿参数，推理时仅激活 140 亿参数。 - dots.llm1 使用 11.2 万亿 token 的非合成数据训练，这在当前开源大模型中较为罕见。 - 该模型采用 MoE 架构，由 128 个路由专家和 2 个共享专家组成，每个标记激活 8 个专家。 - 经过三级数据处理流水线后，dots.llm1 的训练数据中知识性内容占比提升至 60%。 - 在中文基准测试中，dots.llm1 以 91.3 的平均分超越了部分同量级开源模型。 - 小红书开源了每 1 万亿 token 的中间检查点，旨在为大模型学习动态研究提供见解。 ## 事实边界 - 原文未说明 dots.llm1 在具体哪些细分任务（如代码生成、数学推理等）上优于对比模型，仅提及“中文测试”和“平均分”。 - 原文未提供 DeepSeek V2/V3 和 Qwen2.5 的具体测试分数，仅陈述了 dots.llm1 超过它们的事实。 - 原文未说明 11.2 万亿数据的具体时间跨度或涵盖的具体领域分布细节（除知识性内容占比外）。 - 原文未提及该模型是否支持多模态输入或输出，仅描述为语言模型架构。 - 原文未说明“非合成数据”的具体清洗标准中是否完全排除了所有机器生成内容，仅强调数据来源性质。 ## 原文信息 - 标题：小红书开源首个大模型，11 万亿非合成训练数据 - 来源：AIGC 开放社区 - 发布时间：2025-06-09 11:06 - 原文链接：https://www.yfchuhai.com/article/10225598.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*