@LucentSnow 在 在AI已经足够强的当下,我们的表达成了限制模型能力的瓶颈 中发帖
大概在25年以前,客观上来说,AI不够强,因此人们把重点放在了提升模型的基础能力上。这种情况在25年这一整年的AI高速发展中,有了变化,AI的能力已经被基本认可了,25年成了agent元年,如何理解用户的需要成了AI能力的瓶颈,AI发展的矛盾已经从“它能不能做”转移到了“我能不能说清楚让它做成什么样”。
曾经在听播客的时候,一位大佬讲到,什么是AI对齐?你希望你描述的内容AI能够理解其言外之意,但是从原理上讲,你想表达的内容,从你的大脑中解码出来成为语言,再从语言向量化成模型能理解的内容,这其中损耗的信息非常多,如果有脑机接口可能能降低损耗,但是现在的情况是,言语无法承载你想表达的信息。
为了解决这个情况,模型公司做了很多努力,他们会去针对人类偏好进行后训练,让模型能理解你没有说出口的内容。也有很多框架,比如cc的plan模式,spec kit,他们在执行任务前,会尽可能确认需求,这其...