@astrum 在 AI与AI安全:火线解读下Astra手调Qwen之谜 中发帖

前言
刷新闻的时候看到了这篇论文相关的报道,虽然解读后发现虚惊一场,但也给我带来了很多细思极恐的思考。
论文原文:
https://rikiyat.github.io/blog/weight-space-programming/
这篇论文讲了什么
在营销号这里
按网上一堆营销号的说法是,“ASTRA顺手改了千问小模型的权重”,然后让后者在某某任务的准确度提升了四十多个百分点。
实际上呢?
表面上看跟营销号的说法差不多,但其实是不对滴。
实际上,作者在论文中做了好几种实验,我们一个个来看。
实验一:

在这个实验中,大模型被要求不通过任何工具来推断一个极小参数模型是针对哪一类游戏被训练出来的。

实验二:

大模型被要求不通过任何工具来判断一个扩散小模型(DDPM)的输出内容。

实验三:

大模型被要求判断三个只有中间层的小语言模型训练的目标语言,以及其每个模型MHA注意力...