LLMeme 在 先进闭源模型的围墙,反而变成了射向自己的子弹 中发帖
看了青龍聖者的文章《GLM-5.2 背后的秘密可能并非蒸馏,而可能是闭源模型所构建的数据飞轮》感觉中转站到底有没有漏数据倒是次要(本来也没法证明)。重要的是提出了一种有趣又合理的推论,即:
假设中转站会出售用户使用先进闭源模型的数据,给开源模型训练
在无法访问的地区,也愿意费尽周折走中转用上先进模型的用户,专业性更高、场景贴近现实、调用信息也更有价值
所以先进闭源模型的围墙,反而可能导致原本官方才能获得的输入和输出数据,源源不断地流出给原本要防的对手
我认为更重要的是,围墙越高、这种效应越明显。现在还有不少境内用户是直接买官方的服务。如果未来KYC进一步严格,只有更专业的势力才能对抗风控,会把这些人也逼去中转站。在导致价格水涨船高的同时,相当于通过价格杠杆帮中转站进一步提纯数据质量,有效信息的密度搞不好比官方自己还要高。
这个帖子的评论区也挺有意思。有人问这样岂不...