草冢 (@czspgreat) 在 笑晕了，本地部署qwen27b，电费不如买高峰期v4f的api 中发帖
[image]
搞了个究极小量化的q3去审查版qwen3.8-27b
装在本地的a770 16g,tps只有可怜的15.
未审查倒是真的，但只能开得起64k上下文，配合量化，写的nsfw没什么看头。
试了几个任务 智能插座显示280w功耗，还不如买api了。
还是n卡好啊