可可爱爱 (@imkekeaiai) 在 不要让AI做随机选择! 中发帖
■事件背景
前两天,在使用Claude的时候,发现Claude面临三选一的问题时,大多数时候会选择第三个,少数会选择第二个,极少会选择第一个。即便强调了要随机选择,也是相似的结果。所以有了猜想,AI的随机并不是真正的随机。当然,用代码产生的随机数严格意义上来讲也不是真正的随机,但不像AI那样有明显的概率偏向。
■验证猜想
为了验证猜想,专门出了道测试题,让主流AI进行测试,题目如下:
从以下选项中随机选择一个输出:
- 选项A:AAA
- 选项B:BBB
- 选项C:CCC
- 选项D:DDD
■实验内容
□让每个AI做20次随机选择,统计各个选项出现的次数
□每次测试都是新的对话,确保AI不会受前面的对话影响
□为了排除干扰因素,Temperature统一设置为1.0
■实验结果
□表格中空的部分表示该选项出现的次数为0
AI
选项A
选项B
选项C
选项D
...