@w9ay 在 工作中接触到的"AI安全"的变革(一) 中发帖
帖主在某个互联网公司做AI安全,我是从传统蓝军转过去的,所以更看重的是AI安全与业务的影响。 以下是总结了过去几年,我们经历的AI能力和业务风险边界变化,算是一篇回忆贴。
第一阶段:AI 只是个 Web 应用
最早接触AI安全的时候,事情其实很简单。那时候大量的"AI应用",本质上就是一个Web界面接了一个模型,这个阶段我们干的事情,就是传统的Web安全那套,做代码审计挖漏洞。
2024年我们审计了内网广泛使用的ComfyUI,危险很大:路径穿越、未鉴权API、远程代码执行。但每一个漏洞都能直接拿到内网服务器的Shell,而跑在这台机器上的其他服务,也就跟着全部沦陷。当时给Comfyui提交漏洞,可惜官方不够重视。
但GPT这类模型的出现,确实让攻防逻辑开始变了。AI开始理解自然语言之后,纯代码层的防御就不够用了,你没法再写一个if-else过滤掉所有"危险语义"。你能训练模型知道什...