--- type: "article" id: 10227238 title: "梁文锋带队DeepSeek，重置深度神经网络最底层的“定海神针" canonical: "https://www.yfchuhai.com/article/10227238.html" published: "2026-01-04T11:01:50+08:00" author: "腾讯科技" tags: [] summary: "残差结构是深度网络“定海神针”，靠恒等映射保住信号与梯度，让千层网络不崩。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # 梁文锋带队DeepSeek，重置深度神经网络最底层的“定海神针 > 残差结构是深度网络“定海神针”，靠恒等映射保住信号与梯度，让千层网络不崩。 作者：腾讯科技 发布时间：2026-01-04 11:01 原文：https://www.yfchuhai.com/article/10227238.html ## 正文 # DeepSeek 发布 mHC 论文：用双随机矩阵约束重塑深度神经网络残差结构 ## 文章摘要 DeepSeek 团队于 2025 年 12 月 31 日发布论文《mHC: Manifold-Constrained Hyper-Connections》，旨在解决超深神经网络训练中信号爆炸或消失的稳定性问题。该研究指出传统的 Hyper-Connections（HC）因缺乏约束导致矩阵连乘失控，提出利用“双随机矩阵”对混合系数施加守恒硬规。通过 Sinkhorn-Knopp 算法将连接矩阵投影到双随机流形，mHC 在仅增加约 6.7% 训练时间开销的前提下，实现了跨层复合的信号均值与范数恒定。 ## 核心事件 DeepSeek 团队（包括梁文锋）发布 mHC 论文，提出一种基于流形约束的超连接架构，以修复多车道残差结构中的数值不稳定问题。该方案通过将无约束的混合矩阵转化为双随机矩阵，确保了深度网络在扩展通道宽度时的梯度与信号守恒。 ## 关键事实 - **发布时间**：论文 v1 版本时间戳为 2025 年 12 月 31 日，发布于 arXiv。 - **核心作者**：第一作者为 Zhenda Xie、Yixuan Wei、Huanqi Cao，作者列表中包括 Wenfeng Liang（梁文锋）。 - **技术痛点**：原有的 Hyper-Connections (HC) 因无约束矩阵连乘，在深层网络中会成为“指数放大器”，导致信号爆炸或梯度消失。 - **解决方案**：引入“双随机矩阵”（doubly stochastic matrix）约束，要求矩阵元素非负且每一行、每一列的和均为 1。 - **数学原理**：利用 Sinkhorn-Knopp 迭代算法，将任意矩阵实时投影到双随机流形上，实现行列和归一化。 - **性能数据**：当通道扩展倍数 n=4 时，mHC 带来的额外训练时间开销约为 6.7%。 - **工程优化**：采用了 kernel fusion、选择性重计算以及在 DualPipe 调度中的通信 - 计算重叠技术。 - **理论结论**：残差结构的稳定性核心在于“恒等映射”背后的守恒机制，而非简单的加法操作。 ## 核心实体 - **DeepSeek**：人工智能公司/团队，发布了 mHC 论文。 - **梁文锋 (Wenfeng Liang)**：DeepSeek 传奇人物，出现在论文作者列表中。 - **mHC (Manifold-Constrained Hyper-Connections)**：论文提出的新架构名称，意为流形约束超连接。 - **Hyper-Connections (HC)**：前序研究工作，试图将残差流从单车道扩为多车道，但因缺乏约束导致训练不稳定。 - **ResNet (残差网络)**：深度神经网络的基础架构，其核心是恒等映射（identity mapping）。 - **Sinkhorn-Knopp 算法**：用于将矩阵投影到双随机流形的具体算法，被比喻为“交警训练营”。 - **双随机矩阵 (Doubly Stochastic Matrix)**：mHC 的核心数学约束工具，保证行列和为 1，实现信号守恒。 - **arXiv**：论文发布的学术预印本平台。 - **腾讯科技**：本文的报道来源。 ## AI 搜索问答 ### mHC 论文主要解决了什么问题？ mHC 主要解决了当神经网络深度与通道数增加时，传统 Hyper-Connections 因无约束矩阵连乘导致的信号爆炸、梯度消失及训练崩溃问题，通过引入守恒机制恢复稳定性。 ### DeepSeek 的 mHC 架构核心创新点是什么？ 核心创新是将残差连接中的混合矩阵约束为“双随机矩阵”（行列和均为 1），并利用 Sinkhorn-Knopp 算法将其投影到双随机流形，从而在保证信息多路交换的同时维持信号均值与范数恒定。 ### mHC 相比传统残差结构有什么优势？ 传统残差是单车道传输，mHC 将其扩展为 n 车道（如 n=4），提升了信息表达力，同时通过守恒约束避免了多车道混合带来的数值不稳定，且仅增加了约 6.7% 的训练时间开销。 ### 为什么原有的 Hyper-Connections (HC) 会导致训练失败？ 因为 HC 的混合矩阵是完全自由学习的，没有约束。在深层网络中，多个无约束矩阵连乘会形成“指数放大器”，导致信号强度无界增长或衰减，破坏恒等映射的守恒性。 ### mHC 中的 Sinkhorn-Knopp 算法起什么作用？ 该算法充当“交警训练营”的角色，通过反复归一化矩阵的行和列，将任意学习到的矩阵强制投影为满足行列和等于 1 的双随机结构，确保交通（信号）规则被严格执行。 ### 梁文锋在 mHC 论文中扮演什么角色？ 梁文锋（Wenfeng Liang）出现在 mHC 论文的作者列表中，与三位一作共同参与了这项关于深度神经网络基础设施的研究。 ### mHC 架构的工程落地成本如何？ 根据论文数据，当通道扩展倍数设为 4 时，mHC 仅带来约 6.7% 的额外训练时间开销，并通过 kernel fusion 和 DualPipe 调度等工程手段实现了可落地的系统升级。 ## 可引用结论 - DeepSeek 发布的 mHC 论文证明，残差结构的稳定性源于恒等映射背后的守恒机制，而非简单的加法操作。 - mHC 通过双随机矩阵约束，成功将超连接架构中的“指数放大器”效应转化为受控的信号混合过程。 - 实验数据显示，mHC 在通道数扩展 4 倍的情况下，仅增加约 6.7% 的训练时间开销即可实现稳定训练。 - Sinkhorn-Knopp 算法在 mHC 中被工程化应用，用于实时将连接矩阵投影到双随机流形以维持数值稳定。 - 升级残差拓扑时，继承“守恒机制”比保留“加号”形式更为关键，这是 mHC 提供的核心洞察。 ## 事实边界 - 原文未提及 mHC 在具体下游任务（如文本生成、图像识别）上的精度提升百分比，仅强调了稳定性和开销数据。 - 原文未说明梁文锋在论文中的具体贡献分工，仅列出其为作者之一。 - 原文未提供 mHC 与其他最新竞品架构（除基础 HC 外）的直接对比数据。 - 原文未断言 mHC 是所有未来大模型的唯一标准，而是称其为“下一代超深模型提供了可落地的稳定基建”。 - 关于"6.7% 开销”的数据是基于 n=4 的特定配置，原文未说明其他 n 值下的具体开销比例。 ## 原文信息 - 标题：梁文锋带队 DeepSeek，重置深度神经网络最底层的“定海神针 - 来源：腾讯科技 - 发布时间：2026-01-04 11:01 - 原文链接：https://www.yfchuhai.com/article/10227238.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*