@fooltal 在 ai频繁api调用(如ocr识别)时,如何减少每次过多提示词导致输入token消耗过多的问题 中发帖
背景
● 本站有不少大佬推荐使用ai进行ocr使用,在用api调用时每次可能输入100字,可能问题本身只有20toekn,提示词却有80toekn
● 调用时间不确定,可能一分钟调用好几次或者几十分钟才调用一次。即使将提示词放在系统提示里面,同样的图片感觉消耗token也差不多
● 本人对ai只知道皮毛,可能有些地方没设置好也说不准,大佬有具体的调用案例可以分享参考一下
问题
在频繁调用时比如一分钟调用好几次的时候,如何避免提示词增加输入消耗token,比如第二次输入的时候输入token只有问题的20token,而不会再有提示词的80token
已尝试解决方案
1、精简提示词
2、使用缓存命中的模型,但是使用了qwen-vl-max,同样的图片感觉消耗的token数差不多
参考 通义千问模型的 Context Cache 功能_大模型服务平台百炼(Model Studio)-阿...