Gemini 2.5 Flash Native Audio 详细解读
**Gemini 2.5 Flash Native Audio 于 2025 年 5 月 20 日 Google I/O 期间公开预览。**它服务于 Gemini Live API：直接接收连续音频并生成连续音频，让模型在一次实时会话中理解语气、停顿和打断，而不是先转文字、再调用语言模型、最后单独合成语音。
原生音频带来的变化
传统三段式语音系统容易丢失情绪和韵律，也会叠加三次网络与模型延迟。Native Audio 将听、理解和说纳入同一模型会话，更适合自然打断、语速与风格控制、多人对话识别和音频环境理解。它仍可能在口音、噪声、专有名词和长时间会话中出错。
适用场景
- 实时客服、语音助手与口语陪练；
- 会议中的双向问答和实时信息检索；
- 带函数调用的语音 Agent；
- 无障碍交互、语音游戏和角色体验；
- 对语气、节奏与情绪连续性要求较高的对话。
如果只需要把已确定文稿转换成音频，TTS 模型更合适、更可控；如果需要离线转录，应选择专门的语音识别流程。Native Audio 的价值在实时双向交流，而不是替代所有音频工具。
实时系统设计
客户端需要处理麦克风采集、分块编码、回声消除、抖动缓冲和播放中断；服务端维护会话、工具权限和转写/事件日志。网络中断时要能够恢复或明确结束会话，不能让模型在上下文不完整时继续执行高影响动作。
工具调用仍应由应用验证。语音中说出“确认”可能受环境噪声或他人声音影响，付款、发送、删除等动作应使用更强的界面确认或身份验证。
隐私与安全
麦克风数据高度敏感。应用必须明确提示录音状态，获得授权，最小化保留音频，并允许用户停止与删除。不要默默采集背景对话。涉及儿童、医疗、雇佣或身份验证时，还需遵守相应法规和组织政策。合成语音应避免冒充真人，并保留平台要求的内容标识。
评测方法
除了回答正确率，还要测端到端语音延迟、打断成功率、噪声鲁棒性、专有名词准确率、错误工具调用率和会话恢复率。真实耳机、扬声器和移动网络测试比只在安静实验室测 token 速度更重要。