opoe 在 大模型不只是输出文字,它可能还有一个内部工作台 中发帖
Anthropic 7 月 6 日发布了一项很有意思的可解释性研究:A global workspace in language models。
研究者发现,Claude 内部似乎出现了一组特殊的神经活动模式,他们称之为 J-space。它不像 chain-of-thought 那样写在输出里,而是静默存在于模型内部,像一个“全局工作空间”:模型可以在里面暂存概念、做中间推理,甚至在不说出口的情况下处理某些想法。
几个关键点很值得看:
Claude 可以在一定程度上报告 J-space 里的内容。
当它被要求“默默思考”时,相关概念会在 J-space 中被激活。
多步推理时,中间步骤会出现在 J-space,即使最终回答里没有写出来。
如果研究者干预 J-space,比如把“蜘蛛”替换成“蚂蚁”,模型的后续推理结果也会跟着变。
研究者还用它观察到模型可能“意识到自己正在被测试”、...