我们在神经网络的训练过程中引入了一个人工智能智能体（AI agent），让它能够实时地重新设计该网络。 
该智能体执行的是我们所称的“机制性干预”（mechanistic intervention）。它读取网络的内部状态——这与“机制性可解释性”（mechanistic interpretability）研究的方法类似——但它并非旨在解释一个已经训练完成的网络，而是在网络尚处于学习阶段时对其进行改造。智能体会诊断出网络未能学到的内容，并通过调整数据、目标函数、参数更新规则或网络架构本身来解决这些问题。 
这一过程需要一套全新的工具集，而这套工具集是由智能体自行构建的。在“nanochat”任务中，该智能体发现了一种核心工具，我们将其称为“幻影梯度”（phantom gradient）——这是一种衡量“未满足需求”的指标。 
智能体会编写小程序，并将它们作为“代码层”（code lay...