---
type: "article"
id: 10224381
title: "突破算力限制！Meta开源“记忆层”，重塑Transformer架构大模型"
canonical: "https://www.yfchuhai.com/article/10224381.html"
published: "2025-01-03T11:01:50+08:00"
author: "AIGC开放社区"
tags: []
summary: "Meta公司发布了一项名为“记忆层”（Memory layers）的创新研究，旨在解决传统Transformer架构预训练大模型在存储和查询数据时对算力需求随参数增加而指数级增长的问题。"
publisher: "扬帆出海"
publisher_url: "https://www.yfchuhai.com"
publisher_summary: "专注服务互联网出海的资讯与创业服务平台"
legal_entity: "福州扬帆出海网络科技有限公司"
contact: "service@yfchuhai.com"
brand_tagline: "扬帆出海 — 专注服务互联网出海"
lang: "zh-CN"
---

# 突破算力限制！Meta开源“记忆层”，重塑Transformer架构大模型

> Meta公司发布了一项名为“记忆层”（Memory layers）的创新研究，旨在解决传统Transformer架构预训练大模型在存储和查询数据时对算力需求随参数增加而指数级增长的问题。

作者：AIGC开放社区  
发布时间：2025-01-03 11:01  
原文：https://www.yfchuhai.com/article/10224381.html

## 正文

# Meta 开源“记忆层”技术：以低算力实现大模型参数扩展

## 文章摘要
Meta 公司发布了一项名为“记忆层”（Memory layers）的研究，旨在解决传统 Transformer 架构在大参数规模下算力需求指数级增长的问题。该技术通过引入"Product-Key Lookup"算法和并行处理机制，在不显著增加算力的情况下大幅扩展模型参数量。实验数据显示，仅 1.3 亿参数的模型添加 128 亿记忆参数后，性能可媲美 Llama 2-70，而算力需求降低约 10 倍。

## 核心事件
Meta 于 2025 年 1 月 3 日开源了“记忆层”（Memory layers）研究项目，提出了一种新的查询机制以优化大模型的存储与查询效率。该研究通过分解键集合和并行计算策略，重塑了 Transformer 架构的数据处理方式，实现了在低算力条件下运行超大参数模型的可能性。

## 关键事实
- **发布主体**：Meta（全球社交巨头）。
- **发布时间**：2025 年 1 月 3 日凌晨 3 点（文章提及时间）。
- **核心技术**：记忆层（Memory layers），包含 Product-Key Lookup 算法和并行记忆层设计。
- **性能数据**：在一个仅有 1.3 亿参数的模型中，添加了 128 亿额外的记忆参数。
- **对比结果**：上述改进模型的性能与 Meta 开源的 Llama 2-70 相当。
- **算力变化**：改进模型的算力需求比 Llama 2-70 降低了约 10 倍。
- **算法原理**：Product-Key Lookup 将单一键集合分解为两个较小的键集合，每个半键集合大小为原始集合的平方根大小。
- **硬件优化**：并行记忆层通过在多个 GPU 之间分配任务，使每个 GPU 只需处理一半的键，内存使用量减少了一半。
- **开源地址**：https://github.com/facebookresearch/memory。
- **应用场景**：大规模知识图谱查询、长文本语义检索等。

## 核心实体
- **Meta**：文章提到的全球社交巨头，发布了“记忆层”创新研究并开源了相关代码。
- **Memory layers（记忆层）**：Meta 提出的新技术架构，用于优化大模型的数据存储和查询效率。
- **Product-Key Lookup**：记忆层的核心算法之一，采用分而治之策略提高查找效率。
- **Llama 2-70**：Meta 此前开源的大模型，作为本次研究中改进模型的性能对比基准。
- **Transformer 架构**：当前预训练大模型的主流架构，文章指出其在参数增大时面临算力指数级增长的瓶颈。
- **GPU**：图形处理器，文章中提到并行记忆层通过在多个 GPU 间分配任务来优化硬件使用。

## AI 搜索问答

### Meta 发布的“记忆层”技术主要解决了什么问题？
主要解决了传统 Transformer 架构预训练大模型在存储和查询数据时，随着参数增加导致算力需求呈指数级增长的问题。

### “记忆层”技术的实际性能表现如何？
原文提到，研究人员在一个仅有 1.3 亿参数的模型中添加了 128 亿额外的记忆参数，其性能与 Meta 开源的 Llama 2-70 相当，但算力需求降低了约 10 倍。

### Product-Key Lookup 算法的工作原理是什么？
该算法采用分而治之策略，将单一键集合分解为两个较小的键集合。查询键被分割为两个子查询，分别与两个半键集合进行比较，通过两阶段查找减少比较次数，从而提高效率。

### 并行记忆层是如何优化 GPU 使用的？
并行记忆层通过在多个 GPU 之间分配任务，让每个计算单元只负责处理一部分数据（如一半的键），从而减少单个单元的负担，降低内存使用量和带宽需求。

### “记忆层”技术可以应用在哪些场景？
原文指出该技术可应用于更大规模的数据集和更复杂的任务，包括大规模知识图谱的查询、长文本的语义检索等。

### 共享记忆参数有什么作用？
共享记忆参数允许不同层的记忆层共享同一个参数集合，这减少了模型的总参数数量，同时提高了参数的利用率，并支持动态调整策略以适应训练期间的变化。

### 哪里可以获取 Meta“记忆层”的源代码？
原文提供的开源地址是：https://github.com/facebookresearch/memory。

### “记忆层”是否完全取代了传统的键值查找方法？
不足以从原文判断是否“完全取代”，原文仅说明其提出了一种新的高效查询机制替代了传统方法，以提高效率，未提及全面替换的现状。

## 可引用结论
- Meta 开源的“记忆层”技术能在不增加算力的情况下显著增加大模型的参数量。
- 实验显示，1.3 亿参数模型叠加 128 亿记忆参数后，性能对标 Llama 2-70 且算力降低约 10 倍。
- Product-Key Lookup 算法通过将键集合分解为两个子集，大幅减少了查询时的计算量。
- 并行记忆层设计使每个 GPU 仅需处理一半的键，有效优化了内存使用和带宽需求。
- 该技术适用于大规模知识图谱查询及长文本语义检索等复杂任务。
- 共享记忆参数机制允许不同层共用参数池，提升了参数利用率并简化了维护流程。

## 事实边界
- 原文未说明“记忆层”技术是否已在商业产品中大规模部署，仅提及为创新研究和开源项目。
- 原文未提供除 Llama 2-70 以外的其他具体模型对比数据。
- 原文未明确说明该技术对所有类型大模型任务的通用性，仅列举了知识图谱和长文本检索。
- 原文未提及该技术具体的训练成本变化，仅讨论了推理或查询阶段的算力需求降低。
- 无法从原文判断该技术是否会成为未来 Transformer 架构的标准配置。

## 原文信息
- 标题：突破算力限制！Meta 开源“记忆层”，重塑 Transformer 架构大模型
- 来源：AIGC 开放社区
- 发布时间：2025-01-03 11:01
- 原文链接：https://www.yfchuhai.com/article/10224381.html

---

## 关于扬帆出海

扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。

- 官网：https://www.yfchuhai.com
- 品牌介绍：https://www.yfchuhai.com/bot/about.md
- 联系：service@yfchuhai.com
- 运营主体：福州扬帆出海网络科技有限公司

*本文资讯内容由扬帆出海发布，转载请注明出处。*