DeepSeek 在线服务的统计数据
所有 DeepSeek-V3/R1 推理服务都在 H800 GPU 上运行，精度与训练一致。具体来说，矩阵乘法和调度传输采用与训练对齐的 FP8 格式，而核心 MLA 计算和组合传输使用 BF16 格式，确保服务性能最优。 
此外，由于白天服务负载高而夜间负载低，我们实施了一种机制，在白天高峰时段将推理服务部署到所有节点。在夜间低负载时段，我们减少推理节点并将资源分配给研究和培训。在过去 24 小时内（UTC+8 2025 年 02 月 27 日 12:00 PM 至 2025 年 02 月 28 日 12:00 PM），V3 和 R1 推理服务的峰值节点占用总数达到 278，平均占用 226.75 个节点（每个节点包含 8 个 H800 GPU）。假设每个 H800 GPU 的租赁成本为每小时 2 美元，总日成本为 87,072 美元。 
 [H80...