李成蹊 (@davy)知道大模型为啥搞不清9.11和9.9大小了 中发帖

大模型把9.11和9.9当成圣经的章节编号了。因为圣经这个文献实在太重要,所以大模型在预训练的时候把圣经读过很多遍,在推理的时候会分心,把9.11当成圣经章节编号,排在9.9后面。 
参考 Andrej Karparthy(OpenAI创始人之一)的讲解。