King的坐标系 (@king-alpha) 在 狗都不看的千字长文 中发帖
智能的智能的本质就是压缩。
从海量信息中涌现出高维度的抽象,并用高维度的抽象来解释一切就是人们所感知到的AI的智能。
这种不同于传统搜索引擎的泛化能力(智能)本质来源于对人类语言所承载的信息的压缩。
人类的文明和智慧都通过语言寄托并传递,因此LLM才能通过对大量优质语言信息的压缩进行升维并获得智能。
但是这也正是限制llm智能上限的瓶颈。我不是说人类的文字记载有限,没有更多的数据供llm训练所以他只能自己造数据并最终过拟合。
更深层的原因是llm获得智能的方式来自一个天才的问题:如何预测下一个词。
你很难想象有其他问题可以站在如此高的抽象维度来整合人类所探索的所有领域:物理,生物,化学,人文, 写作等等。
llm从诞生之初就信奉大力出奇迹,但很多人单纯的把“大力”理解为堆显卡和参数规模。这没有错,但是非常片面,你之所以可以把世界上包罗万象的信息都堆到一个模型并把参数堆到天文数...