Bunn (@BunnHack)跨模型文风指纹分析:多家AI实验室模型写作习惯惊现高度相似 中发帖

一项针对22个主流AI语言模型的写作风格分析近日引发广泛关注。研究人员借助统计工具Fable,对同一批测试题目下各模型的原始文本回答进行了交叉熵比对,结果显示:不仅同一实验室旗下的模型写作风格高度接近,部分来自不同实验室的模型之间也呈现出异常相似的语言特征。 
研究者表示,相关数据与分析代码已全部公开,供外界独立核查。
研究人员将每个模型在所有测试题目中的回答汇总为一个文本语料库,并基于字符三元组(即每个连续的3个字符构成的滑动窗口)计算其概率分布,从而为每个模型建立独特的"语言风格模型"。
这一方法虽属初级语言建模技术,但建立在数千份样本之上,远比单纯的评分更能反映模型的内在语言习惯。
研究强调,此次分析仅比较语言风格,包括词汇习惯、格式偏好、语气寄存器等,不涉及模型的立场或观点内容。
研究者预期同一厂商旗下的模型因共享训练数据基因而风格相近,同时也坦承存在冗长度混淆变量的潜在影...