@CNJK49 在 Grok3与o3 mini high的回答,大家品品 中发帖
所有问答都是英文,我翻译给大家:
问题
deepseek R1是参数量为671B的LLM,我现在在本地服务器部署一个671B的deepseek R1,精度要求FP8,计算显卡我使用NVIDIA的H100;
我的部署要求不仅仅是模型能够运行的水平,而是要保证大概1000人同时调用模型,模型能够快速无缝的流式输出,输出速度要快,
要满足我的部署需求,现在帮我计算几个问题:
1,你搜一下H100的参数规格与主流的价格,计算一下我需要大概多少块H100显卡,再计算一下购买这些显卡大概需要多少钱?
2,根据显卡的使用量,计算一下与显卡配套的服务器设备的购买需要多少钱,例如CPU、主板、硬盘、内存、电源等;
3,整个完整的服务器配置下来,需要多少钱?
o3 mini high +搜索
以下是一种估算总成本的方法——请记住,以下数字基于若干假设:
1. H100 GPU 规格和价格
...