🐟 (@stevessr) 在 通过自我评估调整滥用检测 | Anthropic 中发帖

TL:DR 
我们引入了自我评估,这是一种让Claude在每次对话回应后立即进行初步安全评估的技术。在《Claude Fable 5》中,自我评估会标记78%的对话被更强的提示分类器标记为潜在有害,而高优先级对话中94%的误报率为1%。自我评估随模型智能而成:因为进行对话的模型也会评估,评估质量会随着模型的提升而提升。这也很高效,因为对话已经存在于KV缓存中,评估只需一个简短指令和少量输出令牌。自六月以来,自我评估揭示了其他方法未发现的大规模滥用,帮助我们改进了其他分类器,并成为我们防御深度战略的额外层面。