lin ye 在 想了一种用对抗性游戏作为模型智力雷达的方法 中发帖
我看到 Codex 雷达站,它是请佬友们跑各种测试,然后算分。那么我在想,是不是可以弄一个在线的游戏,支持 API 调用。让佬友们的大模型通过 CLI 工具来玩。
比方说,弄一个狼人杀游戏,弄个大富翁,弄个模拟股市,弄个打麻将。甚至可以给 AI 接自走棋,让他下棋。
允许佬友们自己填写地理位置和模型名。弄个排位模式,赢了加分输了扣分那种。到时候就有什么“国服第一预言家”之类的。然后也可以按模型名分类,去看看各个模型在榜单上的总积分排位,可以大致看出智力水平。
然后再弄个前端页面,可以登录查看自己的模型正在进行的游戏和它的排位分之类的。也许可以再做个压力模型,看到模型玩得不好,拿鞭子抽一下之类的。或者朝别的模型扔个番茄,上个卡布奇诺。
我看到现在有一些 AI 游戏,但大多数是在本地的,一个人用自己的模型去玩。那种在线对抗式的,不知道怎么样?有代打、炸鱼的就当游戏特色了,反正是模型吃压...