Piao 在 摸鱼玩了下了Ternary-Bonsai-2-27B(Qwen 27B) 中发帖
源于:
https://linux.do/t/topic/2928903
上班摸鱼看见这篇帖子,然后用前两天佬友介绍cloud studio白嫖一件部署跑着玩了下
[9f28231f739139ea471ff3de17d150e2.png]
[a8c4d472c7146166fa88210a62b2453a.png]
[4abd2b6e7bd17fdc7be2f19e0bf0d36b.png]
[ff45e924565a35f089232329707e99ac.png]
L40 46G跑起来显存占用16G左右,显卡占用33%,本想接入Claude中测测多agent能力玩玩并发,但问题仓库默认脚本中的llama-server 内置的 Jinja 聊天模板校验逻辑,模板在渲染时检测到 messages 数组里 system 角色的消息没有放在最前面,于是主动调用了模板里的 rais...