PJ568 在 本地部署 Qwen 怎么用得下去?任务和智能体如何编排? 中发帖

考虑过本地部署。家里云搭配无限用量,二十四小时跑维护任务一定十分舒嫩。 
模型大概率选择 Qwen 的 Flash Next 系列高稀疏度或 27B 略高激活参数的模型。
我试用无(低)量化程度 Qwen 3.8 27B,检查效果。
可是这个……怎么这么难受,小任务耗费大量上下文,本来 200K 左右的上下文就不大。
而且整个模型有点笨笨的感觉。
也许 Flash Next 系列的高稀疏度能让量化部署时能力不会损失那么大,高总参数量的世界知识能让它少碰壁。也说不准。

我可能在明年底会评估考虑 DDR6 的 AMD AI Max 平台的鸡子,搞个 128GiB 至 192GiB 内存的。
开源的推理优化方案还是挺多的。预填充的话,可以用 NPU 运算关键部分然后转到 GPU Vulkan 做,可很大程度降低首字延迟。

本地部署的佬们都是在什么场景下分配什么任务的?
用什么...