Waaaylon 在 9GB显存就能塞下64K上下文?商汤 SenseNova Loop 9B 官方量化版(AWQ/GGUF)来了!3060焕发第二春 中发帖
佬们,擅长做漂亮网页和3D场景的 SenseNova Loop 9B,刚刚放出了官方AWQ和GGUF的量化版
原版之前在前端代码和交互生成上表现挺impressive的,但显存要求还是有点高。。
这次官方量化把64K上下文的门槛降低到了9-10GB显存,老3060 12G也能跑了
看了眼hf trending的数据,这个模型在总榜里冲到了第7
[图片]
按官方估算,4bit权重搭配量化 KV 缓存,64K 上下文约需 9–10 GB显存,12GB消费级显卡就有尝试长上下文的空间
俩版本一共:
平时用LightLLM的佬可以看AWQ版本:4比特主权重三个分片合计5.59 GB
使用4bit权重+8bit KV 缓存时,64K context大概需要10个G,128K需要12G、256K约需 15G
平时用llama.cpp的可以看GGUF版:Q4_K_M主文件5...