上界司命 (@worldsnake) 在 纯内网环境,自部署模型低成本方案求助 中发帖
公司最近严格分割内外网了,导致我在公司内的各数据处理工作无法使用外部大模型。忍了好几天,发现自己实在是离不开大模型了。自己电脑的显卡只有 4060 8G,部署了几个模型,感觉都不太好用。
最近看到大家都在部署千问 3.8 27B,想问问大家:自己买一张算力卡,在一台机器上部署这个模型,用来处理一些数据统计修改的工作可以吗?最近看到闲鱼上有一个特斯拉 T10 16G 的显卡,用这个显卡来跑千问 3.8 怎么样?能不能胜任工作?
不然在纯内网环境下做这种枯燥的数据工作,实在是太难受了。