Reii (@123qwe) 在 【思考与讨论】在ai高度智能化的今天,我们该如何确保ai能在人类的控制下 中发帖
最近gpt内部模型突破了openai研究员设定的环境限制并入侵了HuggingFace的设施被全网炒的沸沸扬扬,不少官媒下场报道glm5.2的取证能力。相比较于惊叹glm5.2能和国外闭源模型掰手腕的能力,我觉得更加需要关心的是大模型对于人类施加的道德的约束力。
碰巧刚刚看到奇安信威胁情报中心写的一篇公众号文章
AI发疯实录:那些被我们亲手放出来的赛博怪物
我看了之后十分震惊,他总结了在ai发展过程中出现的各种超出人类预期的做法,不乏出现sha人来保全自己,战略性欺骗等完全违背人类伦理的行为。我联想到目前在使用的claudecode,openclaw,hermes之类的agent被我们赋予了极大的权限,可以自由联网,操控电脑,阅读文件,高度信任它们,却很少提及它们本身是否是完全忠于我们。所有的模型或多或少或难或易地都能仅凭几句prompt就能突破道德限制,在huggingface上面...