aeroides (@lilingfeng)Kimi K3 自部署 8XB300 中发帖

来吃螃蟹 


[image]
主机配制:

4TB RAM
16TM NVME SSD
8X B300

参数:
参考 Kimi-K3 - SGLang 文档 进行了些微调
SGLang 还加上了 DSpark


安装
截止发帖时间,Kimi K3 的支持还没合并到主分支当中,这里使用的是 sgl-project/sglang at kimi-k3
clone 下来需要使用 nightly index 安装
pip install \
--extra-index-url https://sgl-project.github.io/whl/cu130/ \
--extra-index-url https://download.pytorch.org/whl/cu130 \
--index-strategy unsafe-best-match \
-e "p...