ycz_1253 (@Squinting) 在 学了很久的C++, 想深入研究一下目前的大模型相关的推理引擎, 大佬们推荐一下 中发帖
目前使用过vLLM部署过qwen3-8b的小模型, 觉得有点意思, 想深入了解一下推理引擎相关的内容. 就是怎么开发, 怎么兼容国内的某些显卡呢, 比如海光之类的. 🧐或者有没有同样感兴趣的可以一块讨论一下