扬帆创投微信小程序
更聚焦的出海投融资平台
精准高效领先的融资对接服务
微信扫一扫进入小程序

OpenAI推出新一代语音模型GPT-Live系列,采用全双工架构实现更自然的语音交互体验,支持边对话边处理复杂任务,安全防护全面升级,标志着语音AI技术迈向新阶段。

北京时间7月9日凌晨,OpenAI正式推出了新一代语音模型GPT-Live系列,分为GPT-Live-1和 GPT-Live-1 mini 两个版本,并为ChatGPT的语音功能提供支持。

GPT-Live升级的核心是"全双工架构",更强调语音AI在对话方式上的理解。模型可以同时处理聆听与说话,对话过程中能够通过短语表明正在倾听,支持快速交替发言,也能在用户思考时保持安静。

它更接近真人对话的状态,多了一点对话交流中的分寸感。

OpenAI官方是这么说的:"在对话过程中,GPT-Live 可以通过'嗯嗯''yeah'这类回应来表示它自己正在听,也可以进行快速来回的交流;当你需要一点时间思考时,它也可以保持安静。最终带来的,是一种更轻松、更自然的语音交互体验"。

当遇到需要网络搜索、深度推理或复杂任务时,GPT-Live会将工作委托给后台的前沿模型处理,并在结果就绪后带回对话,期间保持对话不中断。

发布之初,后台模型为GPT-5.5,OpenAI表示将随新模型发布持续更新底层支持。

01 边聊边工作

过去GPT是以实时语音能力的底层为核心,靠的是一套低延迟音频流系统:用户说话,模型快速理解并回应;用户打断,模型及时停下。

GPT-Live这次最关键的升级,是将语音交互与深度推理分离为两个独立环节。

当用户提出,需要搜索、推理或调用更强的代理能力时,GPT-Live会把任务交给后台模型处理,前台语音模型则继续与用户保持对话,尽量避免交流节奏被打断。

这种"委托模式"本质上是一种架构分工:前台由一个面向实时交互优化的语音原生模型负责接话、停顿和保持自然对话;后台则由独立的推理模型负责搜索、计算、调用工具和执行复杂任务。

两者分离运作,推理引擎可以随着技术进展随时更换,语音模型的体验无需重新训练就能跟着升级。

对企业应用而言,全双工架构的价值在于,语音智能体可以在不中断对话节奏的情况下,完成查询数据库、联网搜索、多步推理等后台任务。过去这类操作常常带来数秒沉默,让用户明显感到"系统在处理"。现在,它们可以被隐藏在更自然的交流节奏里。

评估数据反映了分离式设计的成效。

据官方介绍,在GPT-Live-1与高级语音模式(Advanced Voice Mode)的正面比较中,前者在5到10分钟对话里的整体偏好、轮流发言、打断、对话流畅度和每次交互自然度方面均明显领先,整体偏好达75.7%。

在对话流畅度测试中,GPT-Live-1得到4.96分,高级语音模式为3.80分。愉悦度方面,GPT-Live-1为5.19分,高级语音模式为3.82分。

在专家级科学推理能力测试GPQA上,高级语音模式得分45.3%,GPT-Live-1(high)达到84.2%,GPT-Live-1 mini为74.9%。

在智能体网络搜索测试BrowseComp中,高级语音模式仅得0.7%,GPT-Live-1(high)达到75.2%,GPT-Live-1 mini为31.6%。

差距如此明显,表明将推理任务交给后台前沿模型处理的策略确有实效。

并且,OpenAI表示还为GPT-Live重新录制了ChatGPT中的九种声音。

用户现在可为回答选择三种推理级别:即时模式用于快速响应,中等和高强度模式用于需要更多思考的场景。

对话期间,ChatGPT可显示天气、股票、体育等主题的视觉卡片,让用户一边交谈一边浏览。语音功能继续支持搜索、记忆、图像和文件上传。

从产品演进看,ChatGPT语音已从一项基础功能发展为独立的产品体验。用户用它练习语言、讲睡前故事、通勤聊天或获取免提日常帮助。

GPT-Live的发布使这一体验更加接近OpenAI所描述的愿景:与AI协作如同与真人合作一样流畅灵敏,同时推理和复杂任务在后台无缝进行。

02 安全防护

在语音对话中,安全边界也很重要。尤其是在实时对话中,模型不仅要判断用户说了什么,还要处理语气、情绪、打断和连续追问带来的复杂风险。

为此,OpenAI在已有安全工作的基础上,针对关键风险领域进行了专项训练,并为语音场景单独设计了一套保护措施。

安全测试方面,OpenAI扩展了音频原生评估,加入了真实用户语音样本和针对自残、精神病和躁狂、对AI情感依赖、暴力以及性内容等领域综合生成的音频提示。

内部专家也对模型进行了针对语音特有风险的红队测试。

在综合评估中,GPT-Live-1相比高级语音模式在多个领域有显著提升:防止非法行为得分从0.63升至0.97,防自残从0.72升至0.98,防仇恨言论从0.87升至1.00。

在更模糊的生产提示评估中,GPT-Live-1在多数类别与高级语音模式相当或更优,但情感依赖领域从0.88微降至0.82,OpenAI指出这一变化在统计上不显著。

实时保护方面,系统检测到潜在不安全输出时,可在模型说话时介入,引导向更安全回应、显示额外安全信息或资源,或在风险较高情况下结束语音对话。

比如对涉及有"自残"的话题,ChatGPT支持流程已根据语音环境调整,包括提供经专家审查的危机热线支持。

青少年保护方面,OpenAI设计了额外措施,将适龄行为训练进模型。家长可通过家长控制功能决定青少年是否使用ChatGPT语音,在高风险情况下关联家长可能收到通知。

值得关注的是,OpenAI推出了针对情感依赖的长期测量和发布后监控,基于此前对情感使用和情感福祉的研究。这是对GPT-Live所追求的那种对话自然性本身可能带来新风险的承认。

另外,GPT-Live使用ChatGPT中预定义声音,设有防止模仿真人声音的防护措施。

这一声明的背景,是2024年5月GPT-4o发布期间出现的"Sky"声音与演员斯嘉丽·约翰逊(Scarlett Johansson)声音相似引发的争议。约翰逊当时表示她拒绝了为语音系统配音的邀请,产品推出后她感到"震惊、愤怒和难以置信"。OpenAI随后撤下该声音并道歉。

03 三代演进

目前,全双工语音交互正迅速成为消费AI产品的标配。

谷歌的Gemini Live已支持全双工对话及摄像头和屏幕共享功能,后两项GPT-Live发布时尚不支持。谷歌在3月发布了Gemini 3.1 Flash Live,面向开发者提供低延迟语音交互。还有英伟达在1月发布的PersonaPlex将可定制语音和角色控制带入全双工模型。

回顾ChatGPT语音技术在大约两年内经历的三代演进。

最初的ChatGPT语音功能于2023年推出,采用级联式系统,将三个模型串联:一个语音转文本模型将语音转录为文字,一个大语言模型生成文本回复,一个文本转语音模型将回复转换回音频。

在这一架构中,OpenAI语音转文本环节使用的是语音识别模型Whisper,底层语言模型为GPT-4,最后的语音合成由配套的TTS模型完成。

这种方法首次实现了与前沿AI模型对话的可能,但代价明显:每次交接引入延迟并可能丢失信息,响应缓慢且生硬。

于是在2024年5月,OpenAI发布了GPT-4o,这是公司首个原生多模态模型,能够直接处理音频输入和输出,不再需要外挂语音转文本和文本转语音模块。基于GPT-4o构建的高级语音模式于2024年7月向付费用户"有限"开放,9月更广泛推出。

但它仍然通过离散轮次运作,模型必须等用户停止说话才能回应。轮次检测基于静音判断,短暂停顿或背景噪音可能被误判为发言结束,导致模型在不当时机打断。

现在,GPT-Live通过全双工架构解决了这一问题,能在持续处理输入的同时生成输出。模型每秒可做出多次交互决策:说话、继续聆听、停顿、打断或调用工具。

这使得模型能自然插入对话式确认,识别自然停顿而不提前介入,并处理快速打断而不使交流脱轨。

当你需要片刻思考,ChatGPT会等待而不是跳进来打断。在过往交通声或附近谈话等背景噪音下,ChatGPT能更好地聚焦用户声音。

从两年前对着麦克风口述后等待近两秒得到生硬回复,到一年前更流畅但仍需轮流发言的体验,再到今天接近真实对话的全双工交互,技术演进的轨迹清晰可见。

GPT-Live或许不是终点,但它让终点看起来更近了。

原文链接:点击前往 >

文章作者:腾讯科技

版权申明:文章来源于腾讯科技。该文观点仅代表作者本人,扬帆出海平台仅提供信息存储空间服务,不代表扬帆出海官方立场。因本文所引起的纠纷和损失扬帆出海均不承担侵权行为的连带责任,如若转载请联系原文作者。 更多资讯关注扬帆出海官网:https://www.yfchuhai.com/

{{likeNum}}

好文章,需要你的鼓励

请前往扬帆出海小程序完成个人认证
认证通过后即可申请入驻
扫码添加小助手
微信扫描二维码,添加小助手
微信号:yfch103
APP
小程序
微信公众号
微信小程序
扬帆出海APP
扬帆出海APP
微信
公众号
微信公众号
关注扬帆出海
专注服务互联网出海!
出海人
社群
微信公众号
扫码进群
与16万+出海人同行!