转写在手机上做,回答在手机上生成,不需要把录音传到任何服务器。
01完整链路
一次开口到听见回答,中间经过六个环节,全部在这台手机上。
- 麦克风采集
持续取一段短音频帧,降噪后交给检测环节;不写文件、不留原始录音。
- VAD · Silero
判断什么时候真的开始说话、什么时候停下,避免静音和噪声一直送进识别引擎。
- STT · Sherpa-ONNX 流式识别
边说边出字,识别结果实时显示在聊天框里,而不是等你说完再整段出。
- LLM · 本机小模型
4bit 量化的 2B–4B 模型,由 llama.cpp 在本机推理,一个 token 一个 token 吐回答。
- TTS · Kokoro-82M 流式合成
拿到一小句话就开始合成并播放,不等整段答案写完。
- 扬声器播放
播放期间麦克风仍在听,所以你随时能开口把它打断。
一句话概括:VAD + 流式 STT + 4bit 小模型 + 流式 TTS。每一段都是流式的,延迟才压得下来。
02模块与许可证
| 环节 | 选型 | 说明 |
|---|---|---|
| VAD | Silero VAD | 宽松开源,语音活动检测,顺带处理降噪与静音判断 |
| STT | Sherpa-ONNX (SenseVoice / Whisper-Tiny INT8) | Apache-2.0,流式识别,INT8 量化后适合手机常驻 |
| LLM | Qwen / Gemma / Phi-Mini 2B–4B · GGUF 量化 | 权重许可逐个确认,只挑商用友好的下发 |
| TTS | Kokoro-82M(ONNX) | Apache-2.0,体积小、合成快,适合流式出音 |
| 推理底层 | ONNX Runtime + llama.cpp | 跨 Android / iOS,模型文件与桥接层同源 |
模型包不打包进安装包:用户按机型选精简版或高质量版,在应用内下载后再用。这样安装包不用为所有人背上几个 GB,低配机也不会被塞进跑不动的权重。
03本地意味着什么
模型包下载完成后,断网、弱网、信号差都不影响对话。
一次性赞助,没有月费与年费;本机推理不产生按量扣费,聊多久都一样。
对话文字留在设备上的存储里;要用云端备份需你手动触发。
需要说清楚的代价:本机只能跑 2B–4B 这一档模型,复杂推理、长文写作、代码排查的深度不如云端大模型;追求能力时可以在设置里打开可选的云端开关,默认关闭。
04打断与流式
随时开口打断(Barge-in)
AI 正在朗读时你直接说话即可:应用立刻停止生成、清空待播放的音频队列、关掉当前朗读,同时重启语音识别,把你打断的这一句转成文字接着问。不需要先按停止,也不需要等它念完。
三段都在流式
- STT:一边说一边出字,第一句还没说完屏幕上已经有内容。
- LLM:答案按 token 持续输出,不用等整段生成完。
- TTS:每出现一小句就先合成先播,首句出声时间被压缩到最短。
状态流转
| 状态 | 此时发生什么 | 可执行动作 |
|---|---|---|
| 空闲 | 不占麦克风,模型可按设置释放 | 点【AI 语音通话】进入聆听 |
| 聆听 | 麦克风开启,VAD 等待人声 | 开口说话、挂断 |
| 转写 | 流式识别出文字并显示 | 边看边继续说、直接结束这句 |
| 思考 | 本机小模型生成回答 | 等待、打断 |
| 朗读 | 流式合成并播放 | 打断、静音、挂断 |
05手机扛得住吗
端侧语音对话最大的敌人不是算法,是内存、发热和电池。
| 问题 | 做法 |
|---|---|
| 三套模型同时占内存 | 识别、大模型、合成全部 INT8 / INT4 量化;提供精简版与高质量版两档,按机型下载;内存不足的机型直接不提供本地语音 |
| 发热与耗电 | 进入语音模式前明确提示耗电;闲置自动释放模型内存;提供优先性能模式(更低精度、更快退出推理) |
| 低端机跑不动 | 自动降级:关闭本地语音,回退文字聊天,朗读交给系统语音 |
| 能力弱于云端 | 保留可选的云端开关(默认关闭),本地优先,需要算力时由你手动切换 |
不建议在 4GB 内存机型上同时加载三套模型。宁可少一个功能,也不要让应用在对话中途被系统杀掉。
06怎么用
- 在 AI 聊天会话里点【AI 语音通话】
入口在会话页,和发消息、发语音在同一层,不藏在三级菜单里。
- 首次进入提示下载离线模型包
列出语音识别、大模型、语音合成三部分的体积与版本,建议连 Wi-Fi;下载支持断点续传,中途退出不必从头再来。
- 进入语音对话
麦克风常驻聆听(可关闭),界面同时显示你的转写文字和 AI 的回答文字,并在朗读结束时自动回到聆听。
- 按需调整设置
切换 AI 音色;单独删除本地 STT / TTS / LLM 模型释放空间;开关打断;开关优先性能模式。
解锁是一次性的:在「我 → 本地部署」赞助 ¥5.2(52 灵粒)即可 永久使用,之后下载、删除模型包都不再收费,也没有月费与年费。
语音识别、语音合成、大模型三块分开安装与删除:只删大模型仍可保留语音朗读,只删语音合成仍可保留文字对话,空间不够时能按优先级腾地方。
当前 App 已带本机大模型(1.5B / 3B,可在页面里切换档位);本地语音引擎(VAD + 流式识别 + 语音合成)随 App 侧桥接上线,尚未就绪时页面会明确提示,并提供云端语音作为临时替代。
07两种模式
识别、生成、合成全在本机。隐私最好、断网可用、一次赞助 ¥5.2 永久使用;模型参数小,复杂问题不如云端。
识别留在本机,生成与合成走云端。需要更强回答时手动开启,按云端规则计费,不作为默认。
两者的入口在同一个语音页里切换,切换时明确提示当前模式走的是本机还是云端,避免以为离线其实在联网。
08避坑清单
- 不要直接放 7B 以上未量化模型:内存直接溢出,动画都卡。
- 不要选大体积语音合成:ChatTTS、CosyVoice 这一档在手机上很难常驻。
- 不要等整段答案生成完再合成:首句延迟会高到用户以为没反应。
- 不要缺打断逻辑:只能干等 AI 念完的语音助手,用一次就不想再用。
09许可与合规
- Sherpa-ONNX、Kokoro:Apache-2.0,可随闭源应用分发,应用内保留版权与许可声明。
- llama.cpp:MIT,保留版权声明即可。
- 模型权重:逐个确认许可证,避开仅限研究或禁止商用的权重,不把许可不清的模型下发给用户。
- 音色:只用开源音色,不克隆真人声音,规避肖像权与声音权益风险。
应用内「关于 → 开源软件声明」列出全部依赖与许可证原文。
10常见问题
本地部署要用网络吗?
模型包要下载一次,需要联网;下载完成后识别、生成、合成都在这台手机上完成,飞行模式也能用。
哪些手机会跑不动?
内存偏小、处理器较老的机型不适合同时加载语音识别 + 大模型 + 语音合成。这类机型会自动降级为文字聊天加系统语音朗读,本地语音入口不出现或提示不支持。
会耗电发热吗?
会。麦克风常驻、模型常驻内存与连续推理都会增加耗电和发热。应用内会明确提示,并支持闲置自动释放模型、优先性能模式与退出即卸载。
和现在 0.34 元/分钟的 AI 通话有什么区别?
AI 通话走云端实时语音,按分钟扣费;本地部署一次赞助 5.2 元、永久使用,之后在本机推理不再按量扣费,代价是模型参数更小、回答深度弱于云端大模型。
录音和聊天文字会上传吗?
本地模式下音频不离开设备,转写与回答文字只写在本机。只有你主动使用云端备份、云同步或切到可选云端模式时才会上传。
可以中途打断 AI 说话吗?
可以。默认开启打断:AI 朗读时你开口,应用立刻停掉合成与播放,并重启识别把这一句转成文字。
之前按年兑换过 1.5B,还需要再付一次吗?
需要赞助一次,但只收 5.2 元:已有的一年期授权会直接升级成永久,两档同时解锁,不会重复收费。
先装 App,再说本地部署
端侧能力依赖 App 的原生推理层,网页版只能做文字对话。
言栖AI