@zhongcheng1024 在 字节跳动设立AI安全与对齐部门 防范AI代理风险 中发帖
原文链接:字节跳动设立AI安全与对齐部门 防范AI代理风险 | 联合早报
中国科技巨头字节跳动旗下人工智能(AI)研发团队Seed宣布,将成立独立的模型安全与对齐部门,重点提升AI代理的安全能力,并防范先进模型可能带来的化学、生物、放射及核等领域的风险。
综合《科技日报》和环球网星期二(10月13日)报道,Seed近日通过内部邮件宣布,将成立名为“Seed Model-Alignment & Preparedness”的部门,由严林负责,直接向Seed负责人吴永辉汇报。
原有的负责任人工智能(Responsible AI)团队,以及部分聊天模型(Chat)团队成员,将转入新部门。
据报道,新部门旨在加强AI模型安全与对齐领域的投入。所谓“对齐”,是指让模型的行为与人类意图和安全约束保持一致。
除了提升代理模型的安全能力,新部门也将着重防范先进AI模型可能在化学、生物、放射及核(C...