Zhoudangjiade 在 ASR/TTS 私有化部署实战:昆仑芯 P800 上跑 FunASR 和 CosyVoice3 中发帖
DEPLOYMENT NOTES
模型推理时间变化不大,用户的等待时间却能明显缩短。
最近,我把前期在 NVIDIA 4090 环境验证过的语音识别(ASR)和语音合成(TTS)链路,迁移到了昆仑芯 P800 上,记录一次国产算力环境下的私有化部署适配过程。
这套链路用于数字人交互:用户说话,系统识别内容,业务侧生成回复,再把文字合成为语音。识别侧使用 Paraformer 实时出字、Fun-ASR-Nano 做最终识别,合成侧使用 CosyVoice3,支持逐段输入文本、分块返回音频。
迁移过程中,我遇到了版本不匹配、算子缺失、离线资源下载失败和音色提示词格式问题。排查延迟时,还碰到了一个值得记录的现象:模型推理时间变化不大,用户的等待时间却能明显缩短。
这篇就按我的部署和排查顺序,记录这次适配中的具体问题,以及几组小样本测试结果。
[image]
— P800语音处理链...