雪山飞狐 (@leoz32) 在 你是怎么解决大模型不按要求输出标准JSON格式的?—— 一场技术面试实录 中发帖
1.开场:聊聊踩过的坑
王工:我看你简历上写了两年LLM应用开发经验。我问一些实战经验问题:你在项目里让大模型返回JSON,遇到过什么麻烦没?
小张:遇到过,特别在大模型初期,GPT-4那个时代,经常出现格式不稳定,有时候会多个逗号,有时候key不带引号,偶尔还包一层markdown代码块.
王工:那你当时是怎么解决?
小张:一开始就利用提示词,在prompt里反复强调"请严格输出JSON格式,不要包含任何其他内容"。然后利用fewcase引导,会有点用,但不彻底,大概能到七八成的准确率。
王工:嗯,那你分析过为什么prompt约束不彻底吗?
小张:有想过,例如模型生成文本的本质是逐Token采样,它并没有一个内置的JSON解析器在检查语法。它只是根据训练数据"学会"了JSON长什么样,但这是统计意义上的,不是规则意义上的。
王工:对,这点很关键。OpenAI早期的JSONM...