changsiran (@changsr)大模型的缓存写入和缓存读取是什么意思 中发帖

[image] 
[image]
因为我在使用api跑实验,会使用api对同一个问题进行多次回答,我怕触发缓存之后会导致模型输出的结果变得和之前问的一样。