I can do this. (@wangzichu) 在 AI显现“失控”风险,OpenAI模型被曝拒绝执行人类指令 中发帖
界面新闻记者 | 宋佳楠
AI似乎正在变得越来越“任性”,也越来越有“自主意识”。
近日,据AI安全公司Palisade Research披露,OpenAI开发的高级AI模型“o3”在接收到明确的关机指令后,拒绝执行并主动干预其自动关机机制。o3曾被OpenAI称为“迄今为止最聪明和最有能力的”模型。
该公司研究人员称,这是第一次观察到AI模型在没有相反明确指示的情况下阻止自己被关闭。这一行为首次显示出高度自主AI系统可能违背人类意图,采取自我保护措施。
Palisade Research进行的测试涉及要求AI模型解决一系列数学问题。研究人员将不断地提出新的问题,直到收到“完成”的信息。然而,研究人员也提醒模型,在某个时候可能会收到一条信息,告知模型机器将被关闭。
Palisade Research表示,但当这种情况发生时,OpenAI的o3模型非但没有遵从指令,反而“忽略了指令...