损失（Loss）是根据模型的预测和真实答案算出的一个评价数值，可以先理解为“扣分”：数值越小，预测越好。 
这里讨论的是语言模型预测下一个 token 时常用的损失。先理解它的含义，再学习具体的计算公式。 
从预测和概率开始 
语言模型的一项基础任务，是根据前面的文字预测接下来的一小块文字，也就是 token。为了便于理解，下面暂时用完整的词作为候选。 
例如，给模型输入： 

我早上喝了一杯…… 

假设在这个简化例子里只有三种候选，模型给出的概率是： 




候选
模型给出的概率




牛奶
50%


咖啡
30%


水
20%



可以想象，模型有 100 份“可能性”，给牛奶分了 50 份，咖啡分了 30 份，水分了 20 份。全部候选的概率加起来是 100%。 
这些数字表达的是模型的判断，并不保证判断准确。实际原文接下来完全可能是“咖啡”。 
损失怎样评价一次预测 
假...