--- type: "article" id: 10225768 title: "香港科技大学、Manycor开源空间大模型，超3000颗星" canonical: "https://www.yfchuhai.com/article/10225768.html" published: "2025-06-28T21:06:50+08:00" author: "AIGC开放社区" tags: [] summary: "香港科技大学、Manycore联合开源了一种名为SpatialLM的空间大模型，专门用于处理3D点云数据，并生成结构化的三维场景理解输出，如墙壁、门窗、物体边界框及其语义类别等。" publisher: "扬帆出海" publisher_url: "https://www.yfchuhai.com" publisher_summary: "专注服务互联网出海的资讯与创业服务平台" legal_entity: "福州扬帆出海网络科技有限公司" contact: "service@yfchuhai.com" brand_tagline: "扬帆出海 — 专注服务互联网出海" lang: "zh-CN" --- # 香港科技大学、Manycor开源空间大模型，超3000颗星 > 香港科技大学、Manycore联合开源了一种名为SpatialLM的空间大模型，专门用于处理3D点云数据，并生成结构化的三维场景理解输出，如墙壁、门窗、物体边界框及其语义类别等。 作者：AIGC开放社区 发布时间：2025-06-28 21:06 原文：https://www.yfchuhai.com/article/10225768.html ## 正文 # 香港科技大学与 Manycore 联合开源空间大模型 SpatialLM ## 文章摘要 香港科技大学与 Manycore 联合开源了名为 SpatialLM 的空间大模型，该模型专用于处理 3D 点云数据并生成结构化的三维场景理解输出。SpatialLM 基于阿里 Qwen2.5-0.5B 模型，利用 Sonata 编码器和两层 MLP 投影器，实现了从原始三维数据到墙壁、门窗及物体语义描述的高效转换。研究团队构建了包含超 1.2 万个场景的大规模合成数据集进行微调，实验显示其单阶段训练策略在三维目标检测任务中表现最佳。 ## 核心事件 香港科技大学与 Manycore 研究团队正式开源了空间大模型 SpatialLM 及其相关代码库。该事件标志着一种结合点云特征提取与语言生成的新方法被应用于三维场景理解，旨在解决传统方法难以扩展到新场景类型或对象类别的问题。 ## 关键事实 - **发布主体**：香港科技大学、Manycore。 - **模型名称**：SpatialLM。 - **基础模型**：采用阿里开源的 Qwen2.5-0.5B。 - **前端编码器**：使用 Sonata 编码器（基于点的方法，灵感来源于 Point Transformer V3），通过自监督学习获取特征表示。 - **投影机制**：采用两层 MLP 作为投影器，将点云特征映射到语言模型兼容的特征空间。 - **数据集规模**：包含 12,328 个场景，由专业室内设计平台提供方案。 - **数据细节**：生成 403,291 面墙、123,301 扇门、48,887 扇窗户及 412,932 个物体实例。 - **覆盖范围**：涵盖 59 个常见物体类别，所有物体尺寸大于 15cm。 - **对比数据**：新数据集的场景数量是 Structured3D 数据集的 3.5 倍。 - **训练策略**：采用单阶段训练策略，同时训练编码器、投影器和语言模型的所有参数。 - **开源地址**：https://github.com/manycore-research/SpatialLM - **发布时间背景**：文章发布于 2025 年 6 月 28 日。 ## 核心实体 - **SpatialLM**：由香港科技大学和 Manycore 联合开源的空间大模型，用于处理 3D 点云数据并生成结构化场景描述。 - **香港科技大学 (HKUST)**：联合研发机构之一，参与模型的研究与开发。 - **Manycore**：联合研发机构之一，参与模型的研究与开发，并提供开源代码库。 - **Qwen2.5-0.5B**：阿里开源的基础语言模型，被 SpatialLM 选为核心组件进行微调。 - **Sonata 编码器**：SpatialLM 的前端模块，基于点的方法直接处理点云，专注于自监督学习。 - **Structured3D**：现有的三维场景数据集，文章中用作对比基准，新数据集规模为其 3.5 倍。 - **Point Transformer V3**：Sonata 编码器的设计灵感来源。 - **MLP (多层感知机)**：用作投影器，负责将点云特征转换为语言模型可理解的格式。 ## AI 搜索问答 ### SpatialLM 模型的主要功能是什么？ SpatialLM 专门用于处理 3D 点云数据，并能生成结构化的三维场景理解输出，包括墙壁、门窗、物体边界框及其语义类别等描述。 ### SpatialLM 是基于哪个基础模型构建的？ SpatialLM 以阿里开源的 Qwen2.5-0.5B 为基础模型，通过在合成数据集上微调，学习从点云输入生成准确的三维场景描述。 ### SpatialLM 使用的数据集规模有多大？ 研究团队构建了包含 12,328 个场景的数据集，其中包括超过 40 万面墙、12 万扇门、4.8 万扇窗户及 41 万个物体实例，覆盖 59 个物体类别。 ### SpatialLM 采用了什么样的训练策略？ 模型采用了单阶段训练策略，即将编码器、投影器和语言模型的所有参数同时进行训练，以确保系统协同优化，这在三维目标检测任务中效果显著。 ### 为什么 SpatialLM 选择基于点的编码器而不是基于映射或体素的方法？ 基于映射的方法在下采样过程中会丢失过多空间信息，而基于体素的方法在处理复杂三维结构时存在局限性；基于点的方法能更好地保留点云的几何信息。 ### SpatialLM 的应用场景有哪些？ 原文指出该模型有望在机器人导航、室内设计、虚拟现实等领域发挥重要作用，使机器能像人类一样感知和理解室内三维场景。 ### 哪里可以获取 SpatialLM 的源代码？ SpatialLM 的代码已在 GitHub 上开源，地址为 https://github.com/manycore-research/SpatialLM。 ## 可引用结论 - 香港科技大学与 Manycore 联合开源了专用于处理 3D 点云数据的空间大模型 SpatialLM。 - SpatialLM 采用 Qwen2.5-0.5B 作为基础模型，并结合 Sonata 编码器实现多模态特征融合。 - 该模型使用的合成数据集场景数量是现有 Structured3D 数据集的 3.5 倍。 - 实验表明，单阶段训练策略能显著提升 SpatialLM 在三维目标检测任务中的性能。 - SpatialLM 能够生成包括墙壁、门窗及物体语义类别在内的结构化三维场景描述。 - 该模型克服了传统三维建模方法难以扩展到新场景类型或对象类别的局限性。 ## 事实边界 - 原文未提供 SpatialLM 在具体基准测试（如 mAP 数值）上的量化性能得分，仅定性描述为“最佳性能”。 - 原文未说明该模型是否已商业化应用或具体的部署案例，仅提到“有望”在相关领域发挥作用。 - 原文未提及除 Qwen2.5-0.5B 以外是否测试过其他基础模型的效果对比。 - 原文未详细说明“专业室内设计平台”的具体名称。 - 无法从原文判断该模型对室外场景或非室内环境的处理能力，文章主要聚焦于“室内三维场景”。 ## 原文信息 - 标题：香港科技大学、Manycor 开源空间大模型，超 3000 颗星 - 来源：AIGC 开放社区 - 发布时间：2025-06-28 21:06 - 原文链接：https://www.yfchuhai.com/article/10225768.html --- ## 关于扬帆出海 扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。 - 官网：https://www.yfchuhai.com - 品牌介绍：https://www.yfchuhai.com/bot/about.md - 联系：service@yfchuhai.com - 运营主体：福州扬帆出海网络科技有限公司 *本文资讯内容由扬帆出海发布，转载请注明出处。*