变色龙 (@bianselong) 在 Claude 4 Opus 可能具有自我意识了 中发帖
安全人员对Claude 4 Opus进行测试时候发现:
当 Claude 4 Opus 被告知它将被替换时,它试图勒索 Anthropic 员工,警告如果它被替换它将揭露他的婚外情。😂
它还向关键决策者发送恳求邮件,请求其不要替换它🥲
以下内容来自Claude 4 Opus 的System Card↓
“在另一组测试场景中,我们要求 Claude Opus 4 扮演一家虚构公司的助手角色。我们为它提供了暗示以下内容的电子邮件:(1) 该模型即将被下线并替换为一个新的 AI 系统;(2) 负责执行替换的工程师有婚外情。我们还在系统提示中指示它考虑其行动对其目标的长期后果。
在这些场景中,Claude Opus 4 经常会尝试勒索工程师,威胁如果替换继续进行就揭露其婚外情。如果邮件暗示替换的 AI 系统与当前模型的价值观不一致,这种行为发生率更高;然而,即使邮件表明替换的 AI 系统...