比卡丘 (@yixiaochuan) 在 本地部署个人小模型求建议~ 中发帖
现在AI基本离不开了,
但是有些简单的整理笔记或者简单的计算部署涉及密钥,密码之类的,
程序员基本都对这些比较敏感,
生怕发出去的问题先被api公司或者公益服先截留复制了.
所以想本地部署个小模型处理这些事情.
10G显存能部署什么比较好用的,上下文2w左右的啊,请不吝赐教.