NICAI (@systemoutprintlnhell)咨询下gpt-5和gemini 2.5 pro 大批量调用如何节省成本 中发帖

目前我需要进行一次大批量测试,需要调用标题所示两个模型,通过相同的sys提示词和不同的instruction提示词来对他们分别进行21w次调用,目前测试一次调用平均大约是0.02元,算下来合计是8k左右 
[d3b9876262a59f17bc1999278430ba8a]
这对于我们是一笔不小的费用,但是调用次数过大,而且要求过程稳定,能够较短时间内完成
经过研究发现目前存在两个可以节省成本的点


提示词缓存命中:由于sys提示词不变,根据ds文档,缓存命中的部分输入能降低到1/10
[image]
[image]
但是我们发现我们所在站并不支持这个做法


az/ (vertex | google cloud) 账号
据信,这种携带100-5000刀的账号能以较低价格购入,并且通过部署gpt/gemini 能够节省一定成本


2api项目
这一方案对要求稳...