yepLLM预训练已死,下一步去向何方? 中发帖

AI实验室Safe Superintelligence (SSI)和OpenAI的联合创始人Ilya Sutskever最近表示LLM扩展预训练的结果已经到达瓶颈,现在我们又回到了发现奇迹的时代了。研究人员越来越多地转向“测试时计算”,即在推理过程中改进模型输出效果,有些类似OpenAI最新的o1模型技术路线。这些发展可能会改变AI硬件市场,因为需要更少的训练阶段和更多的推理过程。