慕鸢 (@user792) 在 AI red teamer (人工智能红队)系列34 – 红队人工智能导论 – 生成式AI与红队攻击 中发帖
攻击文本生成(LLM OWASP Top 10)
为了开始探索使用依赖生成式 AI 的系统时可能出现的安全漏洞,我们先讨论文本生成特有的漏洞。文本生成的首选模型是 大语言模型 (LLMs) 。类似于前面讨论的 OWASP’s ML Top 10。
列表中的一些安全问题适用于基于机器学习的系统,因此它们与 OWASP’s ML Top 10 列表中的问题相似。还有一些问题是 大语言模型 和文本生成特有的。
OWASP Top 10 for LLMs
提示注入 (Prompt Injection) - 欺骗输入
不安全的输出处理 (Insecure Output Handling) - 轻信输出
训练数据投毒 (Training Data Poisoning) - 污染源头
模型拒绝服务 (Model DoS) - 累垮系统
供应链漏洞 (Supply Chain Vulnerabil...