@flymyd简单易懂的LLM相关知识梳理-ep.2-1 如何选择模型-API篇 中发帖

目录帖: 

在一个普通的清晨,你在工位上吃着早餐,突然你的领导叫你去会议室,等你再出来时已经是彻底无语。
“公司决定了!我们要用AI赋能XX业务,blabla。。。但预算只有XXX”
那么,如何选用大模型API呢?这是一门学问。
我们先整理一下思路,从几个维度分析这个问题:

模型能力:它的能力是否足以支撑我们的业务需求?会不会因为能力太弱而经常返回我不想要的结果?
推理速度:在保证能力的前提下尽可能快?还是在保证尽可能快的情况下择优使用?平台的推理速度如何?换提供商会不会好些?
服务稳定性:对单一来源的服务稳定性有极高要求吗?或者说可以fallback到其他模型/平台?
价格:我们的预算是否足够充足?
合规性:业务是国内还是海外?对数据落地存储的合规性是否有要求?报销怎么办?

当想清楚如上几点后,就可以按图索骥了。
模拟场景案例分析
场景1:一款面向展厅场景的AI语音对话应...