windsing 在 人工智能安全评估机构 METR 分析了 Anthropic 在高风险环境下的对齐保障措施和失控风险 中发帖
摘要:
METR 对 Anthropic 公司 2026 年 8 月发布的风险报告 “高风险环境下的模型错位”部分进行了外部审查。Anthropic 的报告得出结论,截至 2026 年 7 月 15 日,“由[其]模型错位造成的灾难性伤害风险较低”。
我们目前的最佳推测是,我们同意 Anthropic 的观点,即报告中涵盖的模型因模型偏差而造成灾难性危害的风险较低。 然而,这主要是由于模型本身的能力有限,而非安全措施和模型校准训练的有效性。我们不确定,如果风险更高,报告中的方法是否能够可靠地识别出来。该报告的撰写似乎经过深思熟虑,并且总体上恰当地表达了不确定性,但它远不足以令人信服地排除模型偏差的可能性。要得出强有力的论证,需要开展更广泛的实证研究,并解决多个尚未解决的科学问题。鉴于前沿技术的快速发展,这无疑是一项挑战。
报告中的隐蔽能力基准测试并不能很好地反映模型规避 Anthro...