BA nana (@Henry_He)很多人并没有建立 AI 时代的底层思维 中发帖

几乎每个月,网上都会涌现出一些新的术语,提示词工程、上下文工程、Harness 工程…… 
很多概念都只是流于表面,简单分享我的思维模型。
以 LLM 的推理阶段作为切入点,引入AI 物理学的概念。我们知道,Token 在向量空间中本质上是高维的离散点。为了方便理解,可以将其抽象为一个俯视的地势图。
[langevin-transfomer]
每次从山顶释放一颗小球,它会在重力势能下顺着山坡滑落,最终滚进某个低洼的山谷并停下来。在 Transformer 的推理过程中,每生成一个词,就像是放下一个小球。小球最终停在低洼点,代表了采样的词(比如 Token = 学)。
在实际对话中,AI 需要输出一连串的词。每当一个小球落入某个山谷,它自身的“重量”就会压弯地面,每个小球静止后,都会引起空间势能面的形变,进而改变整个势能空间,从而影响后续采样小球在该空间中的运动轨迹。
比如,可以把...