yxfish13 在 L站的某中转疑似掺水事件(提供排查方案和思路) 中发帖
最近发现了某中转站逆向掺水,防止引战,把鉴别过程放出来,大家可以自行测试几波。
大家都知道kiro逆向是低价逆向opus的主要来源,但是最近封禁导致kiro逆向opus的成本大大提高。有些逆向站停止了opus的渠道,但是还提供了非常便宜的sonnet45逆向,我觉得也是挺好的,如果不建议模型能力其实sonnet45也算不错。但是部分中转使用sonnet45来掺水逆向opus我觉得就很恶心了。跑着跑着发现能力有下降,结果一看实际是sonnet45.有一家1毛的opus发现实际是sonnet就被我拉黑了,今天发现一家3毛多的还掺水就实在是忍受不了。
鉴别思路和方法如下:
大家都知道模型训练是基于语料库的,每个模型的语料库都是不同的。但是每个模型的知识库的截止时间是已知的。这里我们可以根据这点来攻击模型,直接找几个知识库附近的新闻去问, 回答应该是相对确定的。
要点:我发现传统的固定的方...