@Cakk 在 手痒硬塞 Laya(Jev 的离线平替)到项目后踩坑了 中发帖
最近在做一个针对用户语音转文字后区分对话类型调用相应工具后 TTS 合成答复项目,前段时间 Jev 很火(第一次做模型相关项目看到新东西手痒硬塞进项目)碍于项目网络环境问题选择了 Laya 尝试;
Laya 在流程中主要负责:ASR理解 → Laya 决策(意图识别) → 工具调用 → TTS 合成答复
打包到 docker 推送到线上环境后发现线上环境(阿里云 ECS)没有 GPU 只能用 CPU 加速,实测推理结果都需要 2~4s 大大偏离预期; 🤣 🤣
求教部分
这次不敢乱尝试了,现在在选择替代方案目前在 G 老师推荐:
阿里百炼意图识别:云端方案替换 Laya 解决 ECS CPU 推理慢的问题
fasttest:CPU 推理替代方案
希望各位佬友笑完后给个建议替代方案 🥺