zhangshunfeiprompt格式对三家大模型的影响 中发帖

先上论文: [2408.02442] Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models 
一个表格总结:
[用ai总结的]
因为是去年8月的论文,模型对比还是偏向于老式的,大家可以测评一下现在的模型是否还有影响?多大?
以下是一些可能的原因(我总结的):

1.训练的数据集不一样,内部大模型对应的数据集格式经过清洗,有些是用xml有些是用md格式等等,对应的适应能力不一样
2.prompt格式对应的严格程度不一样,大模型的遵循能力不同,顺着/不顺着prompt都会有影响
3. prompt的复杂度不一样