arch 在 OpenAI发布的AI滥用打击报告 中发帖
OpenAI最近发布了AI滥用打击报告,自2024年2月以来已干掉40多个违规网络。
报告发现威胁行为者并没有用AI搞出什么新型攻击手段,基本都是把AI嫁接到老套路上——加速执行而已。比如用ChatGPT批量生成钓鱼内容、翻译社工邮件、伪造简历和求职信、辅助恶意软件开发。
文中的案例有很多,俄语黑客用AI迭代开发Windows恶意软件、朝鲜关联的虚假求职计划渗透西方公司、柬埔寨缅甸的电信诈骗工厂用AI做内容翻译和生成等等
最有意思的,是报告里有个反直觉的信息。用户使用AI检测诈骗的频率,是用AI实施诈骗的3倍。OpenAI自己也在用AI作为调查团队的有效工具,通过分析异常prompt模式和使用行为来追踪恶意账户。
攻防双方都在用同一把刀,就看谁磨得更快
https://openai.com/index/disrupting-malicious-ai-uses/