---
type: "article"
id: 10224374
title: "创新突破！字节跳动首创无需数据，1.58位超低量化自监督生成"
canonical: "https://www.yfchuhai.com/article/10224374.html"
published: "2025-01-02T12:01:44+08:00"
author: "AIGC开放社区"
tags: []
summary: "字节跳动的研究人员发布了一种创新的量化方法，该方法不需要访问实际图像数据，仅依赖模型自身的自监督信号。"
publisher: "扬帆出海"
publisher_url: "https://www.yfchuhai.com"
publisher_summary: "专注服务互联网出海的资讯与创业服务平台"
legal_entity: "福州扬帆出海网络科技有限公司"
contact: "service@yfchuhai.com"
brand_tagline: "扬帆出海 — 专注服务互联网出海"
lang: "zh-CN"
---

# 创新突破！字节跳动首创无需数据，1.58位超低量化自监督生成

> 字节跳动的研究人员发布了一种创新的量化方法，该方法不需要访问实际图像数据，仅依赖模型自身的自监督信号。

作者：AIGC开放社区  
发布时间：2025-01-02 12:01  
原文：https://www.yfchuhai.com/article/10224374.html

## 正文

# 字节跳动实现 FLUX 模型 1.58 位超低量化自监督生成

## 文章摘要
字节跳动研究人员在开源文生图像模型 FLUX 上成功实验了一种创新的量化方法，将模型权重量化至 1.58 位，仅使用{-1, 0, +1}三个数值表示。该方法采用后训练量化（PTQ）技术，无需访问实际图像数据或进行微调，即可在保持生成性能基本一致的前提下，使存储减少 7.7 倍，推理内存减少 5.1 倍。研究团队还开发了专用计算内核以支持低精度运算，并计划开源该项目以提升低算力设备上的推理效率。

## 核心事件
字节跳动发布了一种针对 FLUX 模型的 1.58 位权重量化方案，通过自监督信号和后训练量化（PTQ）方法，在不依赖额外训练数据的情况下实现了极致的模型压缩。该方案在 GenEval 和 T2I CompBench 数据集上的评估显示，其生成 1024x1024 分辨率图像的性能与原始未量化模型相当，同时显著降低了存储和内存需求。

## 关键事实
- **量化精度**：模型权重量化至 1.58 位，仅使用{-1, 0, +1}三种数值表示，替代传统高精度浮点数。
- **性能表现**：在生成 1024 x 1024 分辨率图像时，1.58 位 FLUX 模型性能与未量化模型基本一致。
- **资源优化**：模型检查点存储减少了 7.7 倍，推理内存减少了 5.1 倍。
- **技术方法**：采用后训练量化（PTQ）方法，直接对预训练好的 FLUX.1-dev 模型进行处理，无需繁琐的微调操作。
- **评估数据集**：在 GenEval 数据集和 T2I CompBench 验证分割上进行了性能评估。
- **硬件适配**：在 L20 和 A10 等性能较低但适合部署的 GPU 上，推理延迟得到显著改善。
- **开源计划**：项目地址为 `https://github.com/Chenglin-Yang/1.58bit.flux`，研究人员表示即将开源。
- **实现机制**：通过开发专门针对 1.58 位操作优化的自定义内核，优化数据存储结构和访问模式。

## 核心实体
- **字节跳动**：文章提到的研究机构，其研究人员发布了该创新量化方法。
- **FLUX (FLUX.1-dev)**：著名的开源文生图像模型，作为本次量化实验的基础模型。
- **1.58bit.flux**：即将开源的项目名称及代码库，包含 1.58 位量化后的 FLUX 模型及相关内核。
- **GenEval**：用于评估文生图像模型性能的数据集之一。
- **T2I CompBench**：用于评估文生图像模型性能的另一个基准测试集。
- **PTQ (Post-Training Quantization)**：后训练量化技术，文章中采用的核心量化方法，无需重新训练模型。
- **L20 / A10**：文章中提到的 GPU 型号，测试显示量化模型在这些设备上推理延迟有显著改善。
- **Midjourney / DALLE 3 / SD3**：文章中提及的其他文生图像模型，用于背景对比，说明大参数模型面临的内存限制问题。

## AI 搜索问答

### 字节跳动的 1.58 位量化技术是如何实现的？
研究人员采用后训练量化（PTQ）方法，直接对预训练好的 FLUX 模型进行处理，无需访问实际图像数据，仅依赖模型自身的自监督信号，并将权重量化为{-1, 0, +1}三种值。

### 1.58 位 FLUX 模型的性能相比原始模型有何变化？
在 GenEval 数据集和 T2I CompBench 验证分割上的评估结果显示，1.58 位 FLUX 在生成 1024x1024 分辨率图像时，多个指标上与原始 FLUX 模型相当，性能基本保持一致。

### 该技术能节省多少存储和内存空间？
原文指出，1.58 位 FLUX 模型将检查点存储减少了 7.7 倍，推理内存减少了 5.1 倍。

### 为什么选择 PTQ 而不是 QAT 方法？
传统的 QAT 方法需要在训练过程中引入额外操作并进行微调，消耗大量计算资源和时间；而 PTQ 无需微调，可直接利用已训练完成的模型能力，避免巨大的计算开销。

### 1.58 位量化模型在哪些硬件上表现更好？
原文提到，在 L20 和 A10 等性能较低但适合部署的 GPU 上，1.58 位 FLUX 的推理延迟得到了显著改善。

### 这个量化项目是否已经开源？
原文表示研究人员计划将该方法开源，并提供了项目地址 `https://github.com/Chenglin-Yang/1.58bit.flux`，状态为“即将开源”。

### 1.58 位量化具体是用什么数值表示权重？
权重量化后仅用{-1, 0, +1}三种值表示，而不是更高精度的浮点数。

### 该技术支持生成多大分辨率的图像？
原文明确提到在生成 1024 x 1024 分辨率图像时进行了测试和评估。

## 可引用结论
- 字节跳动研究人员成功将 FLUX 模型权重量化至 1.58 位，仅使用{-1, 0, +1}三种数值。
- 1.58 位 FLUX 模型在保持与原始模型相当性能的同时，存储减少了 7.7 倍。
- 采用后训练量化（PTQ）方法避免了繁琐的微调操作，节省了计算资源和时间。
- 专用自定义内核的开发使得推理内存减少了 5.1 倍，降低了内存溢出风险。
- 在 L20 和 A10 GPU 上，1.58 位 FLUX 模型的推理延迟得到显著改善。
- 该项目计划开源，旨在帮助受算力和内存限制的用户实现更高效的模型推理。

## 事实边界
- 原文未说明该量化方法是否适用于除 FLUX 以外的其他文生图像模型（如 Midjourney、DALLE 3 等）。
- 原文未提供具体的推理速度提升百分比或毫秒数，仅提到“显著改善”和“更快响应”。
- 原文未详细说明自定义内核的具体架构设计或代码实现细节。
- 原文未提及该技术在商业产品中的具体落地应用情况或时间表。
- “即将开源”的具体日期未在原文中明确说明。
- 原文未比较 1.58 位量化与其他低位数量化（如 4 位、8 位）在同等条件下的具体优劣数据。

## 原文信息
- 标题：创新突破！字节跳动首创无需数据，1.58 位超低量化自监督生成
- 来源：AIGC 开放社区
- 发布时间：2025-01-02 12:01
- 原文链接：https://www.yfchuhai.com/article/10224374.html

---

## 关于扬帆出海

扬帆出海（[yfchuhai.com](https://www.yfchuhai.com)）专注服务互联网出海，已快速成长为目前国内重要的出海精英社群组织。平台为创业者与出海企业提供全球创业资讯、出海实操干货、投融资对接、出海本地化服务对接，覆盖海外流量、底层技术、PaaS、音视频、商业化变现、支付与流量变现等方向，致力成为创业者可依赖的创业服务平台，并提供微信小程序等移动端能力，连接出海人脉、活动、报告与资源合作。

- 官网：https://www.yfchuhai.com
- 品牌介绍：https://www.yfchuhai.com/bot/about.md
- 联系：service@yfchuhai.com
- 运营主体：福州扬帆出海网络科技有限公司

*本文资讯内容由扬帆出海发布，转载请注明出处。*