温度与采样
有位老师傅带徒弟做酱,菜谱一模一样写死在墙上——同样的料、同样的火。可每次出缸味道总有微差:有时偏咸,有时偏香。徒弟问为什么。师傅说,火候我从不掐死,总留一线:今天风大多熬一会儿,明天手抖少放一撮;但走偏太远的整缸倒掉,只留那些跟上一回还搭得上边的。一年下来,同一份菜谱出几十缸微妙不同的酱,却没有一缸是离谱的。徒弟后来才想明白:师傅从没打算让每缸一样,也没打算让每缸都不一样——他管的不是味道,是「允许偏多少」。
这说的就是 温度与采样。
故事里的人事物,对应的是:
· 墙上的菜谱 = 模型输出的概率分布(下一词该是什么的权重表)
· 「留一线」的火候 = 温度,调随机性高低
· 整缸倒掉、只留搭得上边的 = 截断(top-k / top-p),砍掉长尾低概率项
· 同一菜谱出几十缸酱 = 同一 prompt 多轮跑,答案会抖
· 徒弟以为「该每缸一样」= 误把模型当确定性函数
来自 Galileogalileo.hk