天上火 (@109016794)Astra 掺水检测 App 采用论文思路构建 中发帖

今天被中转的 astra 恶心坏了,一堆披着羊皮卖狗肉的,模型用着货不对板,一气之下让 astra 协助我做了一个掺水测试 App,折腾了半天总算是做出来了,现在分享出来给佬友们试试 
主界面:
[Screenshot_20260906_013947]
模型报告页面:
[Screenshot_20260906_013957]
主要思路就是通过各种论文里的方法获得模型指纹,然后通过对比 astra 和其他几个 gpt 的模型的指纹差异,分析出最终结果,然后我在此基础上用了官方的渠道采样,这样佬友只需要比较要测渠道和官方的答案分差异就知道了有没有掺水了。
里面的基准题目也是我(其实是 astra)精心挑选的,前面一共测试了论文里的动物、鸟、国家、随机数这几个比较热门的模型指纹基准,还有一些冷门知识和具体数值,分了好几轮采样,实践下来发现有些题第一轮看着区别很大,第二轮就一模一样了...