CHEN (@EDWINCHENC) 在 【长文知识科普】大模型中的Temperature原理深度讲解,帮你用好大模型! 中发帖
书接上回 【科普】大模型中的Temperature和Top P原理详解 从这开始,我们继续展开来科普,以便我们更加透彻的知道Temperature参数的调节究竟对你使用大模型的随机性会产生多大的影响。
本文结合本人近期的一些习得知识,尽量深入浅出的再聊聊,用尽量通俗的口吻讲好:
什么是Temperature?
以及你怎么用好Temperature?
这样的话题。
一、 temperature 的原理是什么?了解Logits 和 Softmax 函数。
核心原理在于它如何影响模型输出词汇的概率分布。
Logits (原始分数): 当你提问后,当大模型准备生成一个词时,它会为词汇表中的每一个可能的词计算一个“分数”或“置信度”,这被称为 Logits。Logits是模型对每个词的原始“偏好”或“可能性”的数值表示,它们可以是任何实数(正数、负数或零)。Logits越大,模型认...