@aka24kGold 在 讨论下高质量语料的重要性? 中发帖

众所周知,A\一直有一个“焚书”的传闻,不过搜索了一下,其买的好像只是二手书,而且并不是所谓的绝版书。 
加上 google 近期的大成功(世界知识一直领先),前几天看到一个关于扫描书籍知识的帖子(谷歌的电子图书馆项目)。
而对于学过编程的人都懂,国内中文网的资料基本都是二手的,一般质量稍微高点的技术贴都是搬运的国外,像 CSDN 这种 xiang 一样的,更是恶心,互相搬运。
外加一些互联网黑话,这是否也是中文模型除了参数量之外,智力(除了编程外的数学、科研、审美等)和世界知识大幅度落后的原因呢?
而且中文很多的教材,更是一坨史,比如数据结构、计算机网络等的翻译…
像当初贴吧弱智吧的测评还火过一阵,但是如今也几乎没有声量了。
而各大企业现在训练模型很大程度上都是靠蒸馏获取,比如我了解到的一家某某公司,居然是用豆包来获取语料。