baobao haimian (@haoran)【中转站可靠吗】 如何判断中转站的API是否对应模型型号? 中发帖

[image] 
今天看到一篇论文指出问题:那些号称能“代替官方大模型API”的影子API,到底是不是真的在提供同一个模型,还是在偷偷用性能和安全性都不一致的替代品冒充。
论文给出了3个方法来判断影子模型:

模型指纹识别:用 LLMmap 给模型发一组专门设计的查询,看它的回答和官方模型指纹是否匹配;核心指标是和参考模型输出的余弦距离,距离大或识别成别的模型,就可疑。
分布一致性检验:用 MET(Model Equality Testing) 比较影子 API 和官方模型的输出分布是否一致;如果统计检验拒绝“二者同分布”这个假设,就说明它大概率不是同一个模型。
元信息侧证:比较推理延迟和 token 计数 是否和官方 API 一样稳定;论文说官方 API 对同一问题通常更稳定,而影子 API 常出现不规则波动和尖峰。

不过论文也强调:即使指纹过了,也不代表行为一定完全一致,因为还...