drfy 在 本地搭建AI算力系统 中发帖
最近公司有需求在本地搭建一套AI算力有什么体系化方案吗?有几点目前比较模糊
1、硬件
各种显卡,选啥。是买服务器+显卡,还是一体机?显卡买什么显卡?买的到吗?
2、算力系统
之前装个llma大模型,是单机,单显卡的,如果企业级的肯定需要分布式的模式,有什么好的成熟方案吗
3、大模型
主要用于公司内部的agent使用,使用多少B的?使用什么模型