c.1 (@concentrate1) 在 开源一个在 A100 80GB × 4~5 条件下部署原版 DeepSeek V4.1 Flash 的配方 中发帖

▶ 
开源推广

现在 DeepSeek V4.1 Flash 等比较新的模型需要用到诸如 fp8、fp4 等特性,而 A100 是 Blackwell(sm_80)架构的,对此没有原生支持。vllm 等工具的官方文档已经没有 A100 的配方,很多民间方案需要 A100 80GB × 8 才能跑起来,门槛过高。
前一阵发现了这个项目,作者通过重写算子等方法实现了 A100 80GB × 4 条件下部署原版 DeepSeek V4.1 Flash。如果需要视觉、DSpark 功能,可能还要再加一块卡。
这个项目里有很多作者个性化的配置,我部署的时候遇到了不少问题。比如:

OpenAI compatible 的交互行为有些异常,部分软件接入有问题
Token 解码存在一定问题,使 emoji 无法显示,部分情况下会发生截断
Dspark、图像链路、前缀缓存、1M 上下文等功能不能兼得(一...