Grub (@grubwithu) 在 用了几天自部署的 ds v4.1f,说说实际使用中会遇到的问题 中发帖
实验室里有闲置的算力,我就拿来部署 ds v4.1f 尝尝鲜了。
权重使用的是官方的权重,vLLM 使用的是针对 Ampere 特定实现的版本。
模型是接入到 Pi Agent 中使用的,我用他来开发一些网安相关的科研原型框架。
使用中我认为几个明显影响使用的问题:
模型循环输出,跳不出来。当然这个问题不是 DS 的专属问题,但是我确实遇到了好几次(甚至之前用官方 API + dsh 也出现过这个问题),所以在 Pi Agent 里面添加了检测循环的插件(npm:@isr4el-silv4/loop-guard)用来缓解;
凭空捏造用户指令。这个问题我觉得也很奇怪,但是不只是我一个遇到了这个问题,Github Discussion 里面有人提到了这个事情([BUG] An agent acted on an instruction the user never sent, and...