冉多福 (@randomfuk) 在 Cerebras 推出 DeepSeek R1 Distill Llama 70B 中发帖
TL DR:Cerebras 基于自己的设施发布 DeepSeek-R1-Distill-Llama-70B 目前仅面向开发者使用,通用户还不能免费使用
2025 年 1 月 30 日 —— Cerebras Systems,加速生成式 AI 的先锋,今天宣布了 DeepSeek-R1-Distill-Llama-70B 推理的破纪录性能,每秒实现超过 1,500 个 token——比基于 GPU 的解决方案快 57 倍。这种前所未有的速度为业内最复杂的开放权重模型之一提供了即时推理能力,完全在美国本土的 AI 基础设施上运行,且不保留任何数据。
DeepSeek-R1-Distill-Llama-70B 结合了 DeepSeek 的 671B 参数专家混合模型(MoE)的先进推理能力与 Meta 广泛支持的 Llama 架构。尽管其参数规模仅为高效的 70B,该模型在复杂数学和编码任...