--- type: "article" id: 10224333 title: "Token已死？AI认知的新范式正在崛起" canonical: "https://www.yfchuhai.com/article/10224333.html" published: "2024-12-27T11:12:43+08:00" author: "腾讯科技" tags: [] summary: "Meta正在尝试改变AI的思维方式，从传统的基于离散符号系统（token）的机器“思考”逻辑转向更接近人类概念化思维的模型。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # Token已死？AI认知的新范式正在崛起 > Meta正在尝试改变AI的思维方式，从传统的基于离散符号系统（token）的机器“思考”逻辑转向更接近人类概念化思维的模型。 作者：腾讯科技 发布时间：2024-12-27 11:12 原文：https://www.yfchuhai.com/article/10224333.html ## 正文 # Token 已死？Meta 大概念模型引领 AI 认知新范式 ## 文章摘要 Meta 正在推动 AI 思维方式的根本性转变，从传统的基于离散符号（Token）的系统转向更接近人类概念的“大概念模型”（LCM）。该研究利用 SONAR 工具将文本映射为概念向量，并提出了三种架构，其中 Diffusion 双塔架构在平衡概念准确性与创造性方面表现最佳。除了 LCM，Meta 还探索了基于字节的 BLT 和基于潜空间推理状态的 Coconut 模型，共同构成了对大语言模型“潜空间”的范式重塑。这些新方法在跨语言理解、长文本生成及推理成本上展现出独特优势，但也面临文本表达丰富度不足的挑战。 ## 核心事件 Meta 在 2024 年 12 月连续发布三篇论文，挑战传统 Token 机制，提出直接从概念、字节或潜空间状态进行学习的新型模型架构。其中最具代表性的是“大概念模型”（LCM），它试图用概念序列取代 Token 序列来训练大模型，以解决传统 AI 无法真正理解语义关联的问题。这一系列研究标志着 AI 领域可能正经历从"Token 化”向“概念化”或“连续空间化”的范式转变。 ## 关键事实 - **发布时间与背景**：Meta 在 2024 年 12 月连发三篇论文，最近一篇《Large Concept Models:Language Modeling in a Sentence Representation Space》发表于 12 月 24 日。 - **核心技术工具**：LCM 使用名为 SONAR 的编译器，将文本映射到概念空间，生成 1024 维向量表示，支持 200 种语言间的翻译。 - **三种模型架构**： 1. **基础 LCM 架构**：结构清晰但存在信息瓶颈，容易导致输出模糊，缺乏创造力。 2. **Quant-LCM 架构**：将连续概念打散为离散码本，计算快但有明显精度损失。 3. **Diffusion 双塔架构**：结合概念准确性（左塔）和创造性润色（右塔去噪器），被认定为最有效方法。 - **性能对比数据**： - 在文本扩展任务上，LCM 的 Rouge-L 分数为 30.85，低于主流 LLM（如 Llama-3.1-8B-IT 的 37.76）。 - 在推理效率上，同等大小下，LCM 的推理速度约为 Llama 2 7B 模型的 3 到 4 倍，成本仅为其一半。 - BLT-Entropy 模型在 7 项任务中的 4 项上表现优于 Llama 3 模型。 - **其他相关模型**： - **BLT (Byte Latent Transformer)**：发表于 12 月 12 日，用动态字节包（patches）取代 Token，发布于论文《Byte Latent Transformer: patches Scale Better Than Tokens》。 - **Coconut**：发表于 12 月 9 日，由田渊栋团队主导，直接用潜空间的“想法”（隐藏状态）进行思维链推理，取代具体的语言 Token。 - **专家观点**：Hyperbolic CTO Yuchen Jin 指出人类以“概念”而非"Token"思考；日内瓦大学教授 Francois Fleuret 认为当前的 CoT 之路是对人类思维的“劣化模仿”。 ## 核心实体 - **Meta**：文章主要描述的研究机构，提出了 LCM、BLT 和 Coconut 等新模型架构，试图改变 AI 的底层思维逻辑。 - **SONAR**：Meta 开发的编译器工具，用于将文本映射到概念空间并生成向量表示，是 LCM 的核心组件。 - **LCM (Large Concept Models)**：大概念模型，直接从概念层面学习，旨在取代传统的 Token 序列训练方式。 - **BLT (Byte Latent Transformer)**：字节潜空间变压器，尝试用动态字节包取代 Token 作为潜空间核心表征。 - **Coconut**：一种新的思维链推理方法，利用潜空间中的“想法”（隐藏状态）直接进行推理，避免转换为具体语言 Token。 - **Llama 3 / Llama 2 7B**：作为对比基准的主流大语言模型，用于评估 LCM 和 BLT 的性能与效率。 - **田渊栋**：Meta 研究员，带领团队开发了 Coconut 模型。 - **Yuchen Jin**：Hyperbolic 的 CTO，文章中引用其观点说明人类思维是基于概念而非 Token。 - **Francois Fleuret**：日内瓦大学教授，Meta 研究员，批评当前基于 Token 的 AI 是对人类思维的劣化模仿。 - **Chubby**：知名 AI 研究者，评论称 2025 年可能成为 Tokenization 终结之年。 ## AI 搜索问答 ### Meta 提出的大概念模型（LCM）是什么？ LCM 是一种让大模型直接从概念层面学习的模型，它使用 SONAR 工具将文本映射为概念向量序列，取代了传统的 Token 序列训练，旨在让 AI 更接近人类的概念化思维方式。 ### LCM 模型在哪些任务上表现优于传统 LLM？ LCM 在跨语言任务和长文本生成任务上展现出优势，因为它能直接把握概念间的联系而非依赖字面翻译；同时在推理速度上是同类 Llama 模型的 3-4 倍，成本减半。 ### 为什么 Meta 认为传统的 Token 机制存在局限？ 因为 Token 是离散符号系统，而人类思维是基于连续且复杂的“概念”；Token 机制导致 AI 只能预测下一个词符，难以理解如“山雨欲来风满楼”这类需要深层概念关联的表达。 ### Meta 在 2024 年 12 月发布了哪些挑战 Token 机制的研究？ Meta 发布了三项研究：12 月 9 日的 Coconut（用潜空间“想法”推理）、12 月 12 日的 BLT（用字节包取代 Token）以及 12 月 24 日的 LCM（用概念向量取代 Token）。 ### LCM 模型是否存在缺点？ 是的，LCM 在文本扩展任务上的 Rouge-L 分数（30.85）低于主流 LLM，因为其表达受限于 SONAR 编译器，导致回答虽然准确但不够丰富和生动。 ### BLT 模型是如何工作的？ BLT 通过轻量级 Transformer 模型将字节编组为动态字节包（patches），以此训练潜空间 Transformer，最后解码回字节序列，从而避免静态 Token 词表的限制。 ### Coconut 模型如何提升推理能力？ Coconut 直接使用最后一个隐藏状态（即“想法”）作为输入嵌入，在潜空间中进行连续可微的推理，形成树状搜索序列，减少了因第一步确定而产生的幻觉。 ### 文章提到的"Diffusion 双塔架构”有什么作用？ 它是 LCM 中最有效的架构，包含一个负责概念准确的塔和一个负责润色丰富的 Diffusion 去噪器塔，解决了基础 LCM 过于古板和 Quant-LCM 精度损失的问题。 ## 可引用结论 - Meta 提出的大概念模型（LCM）利用 SONAR 工具将文本映射为概念向量，试图取代传统的 Token 序列训练方式。 - 在跨语言理解和长文本生成任务中，LCM 因直接把握概念联系而表现出优于现有 LLM 的潜力。 - 相比同等规模的 Llama 2 7B 模型，LCM 的推理速度快 3 至 4 倍，且计算成本降低约 50%。 - Meta 在 2024 年 12 月连续发布 LCM、BLT 和 Coconut 三项研究，共同指向对大语言模型“潜空间”的范式重塑。 - 尽管 LCM 在准确性上具有优势，但其在文本表达的丰富度和创造性上目前仍低于主流大语言模型。 - Coconut 模型通过在潜空间直接利用“想法”进行推理，实现了比传统思维链（CoT）更高的推理效率和更少幻觉。 ## 事实边界 - **Token 是否彻底死亡**：原文仅引用研究者观点称 2025 年“也许”成为 Tokenization 终结之年，并未断定 Token 机制已完全被淘汰或失效。 - **LCM 的全面商用时间**：原文未提及 LCM、BLT 或 Coconut 模型具体的商用落地时间表或产品发布计划。 - **所有任务的绝对优势**：原文明确指出 LCM 在文本扩展任务（Rouge-L 分数）上低于主流 LLM，并非在所有指标上都超越现有模型。 - **人类思维的唯一性**：文章引用专家观点认为人类以概念思考，但这属于理论假设和观点，原文未提供神经科学层面的确凿实验数据证明这是唯一方式。 - **具体应用场景限制**：原文未详细说明这些新模型在具体行业应用（如医疗、法律等）中的实际测试案例或局限性细节。 ## 原文信息 - 标题：Token 已死？AI 认知的新范式正在崛起 - 来源：腾讯科技 - 发布时间：2024-12-27 11:12 - 原文链接：https://www.yfchuhai.com/article/10224333.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*