首页 / 本地部署
On-Device · 端侧语音对话

把 AI 语音对话整个搬进手机

一条完整链路全在本机跑:麦克风采样 → 语音活动检测判断你说完没有 → 流式语音识别出文字 → 手机上的小模型边想边吐字 → 流式语音合成 → 扬声器出声。音频和文字都不出设备,断网也能继续聊。

本机推理 ¥5.2 赞助 · 永久使用 音频不出设备 飞行模式可用 可随时打断

01完整链路

一次开口到听见回答,中间经过六个环节,全部在这台手机上。

  1. 麦克风采集

    持续取一段短音频帧,降噪后交给检测环节;不写文件、不留原始录音。

  2. VAD · Silero

    判断什么时候真的开始说话、什么时候停下,避免静音和噪声一直送进识别引擎。

  3. STT · Sherpa-ONNX 流式识别

    边说边出字,识别结果实时显示在聊天框里,而不是等你说完再整段出。

  4. LLM · 本机小模型

    4bit 量化的 2B–4B 模型,由 llama.cpp 在本机推理,一个 token 一个 token 吐回答。

  5. TTS · Kokoro-82M 流式合成

    拿到一小句话就开始合成并播放,不等整段答案写完。

  6. 扬声器播放

    播放期间麦克风仍在听,所以你随时能开口把它打断。

一句话概括:VAD + 流式 STT + 4bit 小模型 + 流式 TTS。每一段都是流式的,延迟才压得下来。

02模块与许可证

环节选型说明
VADSilero VAD宽松开源,语音活动检测,顺带处理降噪与静音判断
STTSherpa-ONNX
(SenseVoice / Whisper-Tiny INT8)
Apache-2.0,流式识别,INT8 量化后适合手机常驻
LLMQwen / Gemma / Phi-Mini
2B–4B · GGUF 量化
权重许可逐个确认,只挑商用友好的下发
TTSKokoro-82M(ONNX)Apache-2.0,体积小、合成快,适合流式出音
推理底层ONNX Runtime + llama.cpp跨 Android / iOS,模型文件与桥接层同源

模型包不打包进安装包:用户按机型选精简版或高质量版,在应用内下载后再用。这样安装包不用为所有人背上几个 GB,低配机也不会被塞进跑不动的权重。

03本地意味着什么

音频与文字不出设备

转写在手机上做,回答在手机上生成,不需要把录音传到任何服务器。

飞行模式也能用

模型包下载完成后,断网、弱网、信号差都不影响对话。

赞助 ¥5.2,永久使用

一次性赞助,没有月费与年费;本机推理不产生按量扣费,聊多久都一样。

记录只在本机

对话文字留在设备上的存储里;要用云端备份需你手动触发。

需要说清楚的代价:本机只能跑 2B–4B 这一档模型,复杂推理、长文写作、代码排查的深度不如云端大模型;追求能力时可以在设置里打开可选的云端开关,默认关闭。

04打断与流式

随时开口打断(Barge-in)

AI 正在朗读时你直接说话即可:应用立刻停止生成、清空待播放的音频队列、关掉当前朗读,同时重启语音识别,把你打断的这一句转成文字接着问。不需要先按停止,也不需要等它念完。

三段都在流式

  • STT:一边说一边出字,第一句还没说完屏幕上已经有内容。
  • LLM:答案按 token 持续输出,不用等整段生成完。
  • TTS:每出现一小句就先合成先播,首句出声时间被压缩到最短。

状态流转

状态此时发生什么可执行动作
空闲不占麦克风,模型可按设置释放点【AI 语音通话】进入聆听
聆听麦克风开启,VAD 等待人声开口说话、挂断
转写流式识别出文字并显示边看边继续说、直接结束这句
思考本机小模型生成回答等待、打断
朗读流式合成并播放打断、静音、挂断

05手机扛得住吗

端侧语音对话最大的敌人不是算法,是内存、发热和电池。

问题做法
三套模型同时占内存识别、大模型、合成全部 INT8 / INT4 量化;提供精简版与高质量版两档,按机型下载;内存不足的机型直接不提供本地语音
发热与耗电进入语音模式前明确提示耗电;闲置自动释放模型内存;提供优先性能模式(更低精度、更快退出推理)
低端机跑不动自动降级:关闭本地语音,回退文字聊天,朗读交给系统语音
能力弱于云端保留可选的云端开关(默认关闭),本地优先,需要算力时由你手动切换

不建议在 4GB 内存机型上同时加载三套模型。宁可少一个功能,也不要让应用在对话中途被系统杀掉。

06怎么用

  1. 在 AI 聊天会话里点【AI 语音通话】

    入口在会话页,和发消息、发语音在同一层,不藏在三级菜单里。

  2. 首次进入提示下载离线模型包

    列出语音识别、大模型、语音合成三部分的体积与版本,建议连 Wi-Fi;下载支持断点续传,中途退出不必从头再来。

  3. 进入语音对话

    麦克风常驻聆听(可关闭),界面同时显示你的转写文字和 AI 的回答文字,并在朗读结束时自动回到聆听。

  4. 按需调整设置

    切换 AI 音色;单独删除本地 STT / TTS / LLM 模型释放空间;开关打断;开关优先性能模式。

解锁是一次性的:在「我 → 本地部署」赞助 ¥5.2(52 灵粒)即可 永久使用,之后下载、删除模型包都不再收费,也没有月费与年费。

语音识别、语音合成、大模型三块分开安装与删除:只删大模型仍可保留语音朗读,只删语音合成仍可保留文字对话,空间不够时能按优先级腾地方。

当前 App 已带本机大模型(1.5B / 3B,可在页面里切换档位);本地语音引擎(VAD + 流式识别 + 语音合成)随 App 侧桥接上线,尚未就绪时页面会明确提示,并提供云端语音作为临时替代。

07两种模式

纯本地(主推)

识别、生成、合成全在本机。隐私最好、断网可用、一次赞助 ¥5.2 永久使用;模型参数小,复杂问题不如云端。

混合模式(可选)

识别留在本机,生成与合成走云端。需要更强回答时手动开启,按云端规则计费,不作为默认。

两者的入口在同一个语音页里切换,切换时明确提示当前模式走的是本机还是云端,避免以为离线其实在联网。

08避坑清单

  • 不要直接放 7B 以上未量化模型:内存直接溢出,动画都卡。
  • 不要选大体积语音合成:ChatTTS、CosyVoice 这一档在手机上很难常驻。
  • 不要等整段答案生成完再合成:首句延迟会高到用户以为没反应。
  • 不要缺打断逻辑:只能干等 AI 念完的语音助手,用一次就不想再用。

09许可与合规

  • Sherpa-ONNX、Kokoro:Apache-2.0,可随闭源应用分发,应用内保留版权与许可声明。
  • llama.cpp:MIT,保留版权声明即可。
  • 模型权重:逐个确认许可证,避开仅限研究或禁止商用的权重,不把许可不清的模型下发给用户。
  • 音色:只用开源音色,不克隆真人声音,规避肖像权与声音权益风险。

应用内「关于 → 开源软件声明」列出全部依赖与许可证原文。

10常见问题

本地部署要用网络吗?

模型包要下载一次,需要联网;下载完成后识别、生成、合成都在这台手机上完成,飞行模式也能用。

哪些手机会跑不动?

内存偏小、处理器较老的机型不适合同时加载语音识别 + 大模型 + 语音合成。这类机型会自动降级为文字聊天加系统语音朗读,本地语音入口不出现或提示不支持。

会耗电发热吗?

会。麦克风常驻、模型常驻内存与连续推理都会增加耗电和发热。应用内会明确提示,并支持闲置自动释放模型、优先性能模式与退出即卸载。

和现在 0.34 元/分钟的 AI 通话有什么区别?

AI 通话走云端实时语音,按分钟扣费;本地部署一次赞助 5.2 元、永久使用,之后在本机推理不再按量扣费,代价是模型参数更小、回答深度弱于云端大模型。

录音和聊天文字会上传吗?

本地模式下音频不离开设备,转写与回答文字只写在本机。只有你主动使用云端备份、云同步或切到可选云端模式时才会上传。

可以中途打断 AI 说话吗?

可以。默认开启打断:AI 朗读时你开口,应用立刻停掉合成与播放,并重启识别把这一句转成文字。

之前按年兑换过 1.5B,还需要再付一次吗?

需要赞助一次,但只收 5.2 元:已有的一年期授权会直接升级成永久,两档同时解锁,不会重复收费。

先装 App,再说本地部署

端侧能力依赖 App 的原生推理层,网页版只能做文字对话。