BA nana (@Henry_He) 在 AI 时代思维框架-2 中发帖
● init
├───╮
│ ○ AI 思维框架-2 feat:补充高维模型性质及技巧
╭───╯
● AI 思维框架 merge:重新梳理内容结构
这篇更多是对思维框架篇的补充,已经合并到主链
上一篇基于三维的地形小球模型来介绍性质,但是有些性质在高维模型下反而更加清晰
在高维潜空间内,token 在空间内不一定是孤立的点,而可能是一片区域
在互联网海量语料里,严谨 出现时周围往往带有术语、啰嗦的长句,这会在训练后让 严谨 这个向量与古板、学术相关特征纠缠在一起:
[image]
原本只想点亮逻辑性,但不可避免地激活了枯燥、学术废话等区域
更明显的例子 三色韦恩图:
[image]
当然,这种特性也并非坏事,高阶使用者(划重点)可以用更极限的 token 组合构建上下文,实现注...