dong (@dongDongDong) 在 这个非常简单的提问prompt似乎能一下测出测出大模型的真实水平 中发帖
以前有个”鲁迅和周树人“的prompt能一下测出大模型档次高低(现在不行了)。
刚我干活的时候发现一个JSON代码生成问题,很多大模型都出错,似乎是个测试大模型档次的好问题,索性都测了一下。
这是个非常非常简单的JSON格式问题,可很多大模型包括号称编程最强的Claude都回答错误。
绝大多数大模型的回答错误都集中在:它不知道“中文全角标点符号“,直接把英文半角双引号加到中文里(语言不合规范)又不给做转义处理,导致JSON格式出错(JSON数据的双引号配对错误)。
这个prompt整体上能通过三个点测出大模型的档次:
最重要,JSON格式是否正确(主要是中文部分的英文半角双引号导致JSON格式出错)
这个都完不成就不是合格的大模型
中文语境标点是否正确(中文要用全角引号,用半角就算加转义符也不规范)
英文翻译水平高低(你怎么这样?这句话的英文翻译水平神韵高低)
下面是问...