冬鵺落 (@ozwzo) 在 5070 Ti 16G 纯显卡推理跑本地AI,效果竟然还不错? 中发帖

本人最近突然有点想折腾,但又有点懒,而且我爸一直想尝试AI,但又担心隐私问题。于是让 GPT 帮我上网搜了一下,看看我的 5070Ti 电脑上有哪些能跑且效果不错的 AI 模型。 
于是GPT就给我找到了我现在部署的这一款。
1️⃣省流(虽然我也不知道为啥省流)
5070Ti 16GB 纯显卡推理,192k上下文+缓存,42-78tok/s,带视觉。
1. 成绩
鹈鹕测试:耗时8m35s。画面整体偏简陋,但结构完整。鹈鹕脚粘在了踏板上,且没用翅膀骑车。
糖果题测试:得分 0/5。5轮测试均回答错误答案29。
截图复刻网页:耗时58m27s。网页图片复刻较好,布局有待改善。有原网页的感觉。
实际业务测试:听得懂人话,能明确需求,但代码能力较差,可通过更多轮迭代,产出正确结果。
2. 个人观点
虽然成绩看起来都不是特别完美,尤其是糖果题得了零分,但我们需要考虑到这个模型是本地小模型...