Bird (@wise_bird)硅基流动API输出随机性很大怎么办 中发帖

最近在用硅基的API跑一些数据,想得到稳定、一致和确定性的输出结果。设置了temperatrue=0,发现每次调用的结果还是不一致。反映到测试样本的准确率上波动很大,相同的代码和数据,准确率第的时候18-19%,高的时候29-31%。每次运行的结果都不能稳定复现,一度以为我自己的代码有问题。 
此外还尝试设置了top_p=0.1, extra_body=dict(top_k=1),也都没啥用 🤔
有佬友遇到过类似的问题吗