巳巳如意 (@sevenold)模型输出一致性 中发帖

模型输出一致性问题
vlm_model = “qwen-vl-max”
目前有什么办法能一定程度上保证同样的数据,在每次运行的时候输出的结果都是”高度可复现“的?

OpenAI 官方文档:temperature=0 + seed 只能“高度可复现”;在极少数情况下仍可能出现 1-2 token 的差异。
暂不考虑落盘缓存的方案

result = await client.chat.completions.parse(
model=vlm_model,
messages=query,
temperature=0,
max_tokens=200,
top_p=1,
seed=42,
response_format=Ana...