Nebula75 (@Yinghai) 在 一般的开发电脑，用Qwen 3.8 27B跑编程，是不是不用想了 中发帖
比如我这台MacBook Pro是M4 Pro 24GB内存
如果首字上下文是20K，预计要等3分钟?
正常在100K左右上下文，速度也就10-15tokens/s?
总上下文设个128K