大王饶命 (@laoyou)【个人拙见】看到各位佬提到的各类AI模型突然降智的问题 中发帖

很多时候,你会发现,一开始推出的AI模型用起来效果贼好,但是过段时间发现他的能力越来越差了,甚至还有些是升级后的版本,理应更加强大,但实际情况恰恰相反,为什么会出现这种情况呢,我是这么理解的: 
从模型发布的生命周期来看,粗略分为三个阶段:
阶段 1:刚发布(出道即巅峰)
为了模型首秀能够艳惊四座,不计成本地使用大规模算力和最新算法,参数量、上下文窗口、推理步数都开到极限,几乎没有安全限制,输出深度和创造力极高。
而且初期也没有大规模用户压力,对于算力消耗不大,所以可以全力保证模型体验效果。
阶段 2:优化迭代
随着用户量上来,开始加入安全过滤、内容合规限制等,为了控制成本和响应时间,对模型进行优化、蒸馏、压缩、推理链变短,减少算力消耗;
阶段 3:稳定运行
模型推出一段时间后,用户量趋于稳定,商业模式也基本成熟固定。所以厂商也不再持续大规模投入算力和研发人员。
接着采用各...