@bige0123 在 AI infra 国产卡推理效率相关咨询 中发帖
看到有AI infra广场的还没建起来,先在这里问问
突然想到一个事,
到目前,无论是哪家的,寒武纪也好,昇腾也好,平头哥也好,都没看到他们对开源模型推理效率方面的消息或者报道啊。
之前都聊国产卡都主要是对推理这块能用
那么下至200B的minimax,上到1T的Kimi K2.5, 有无用过国产卡部署过的老哥(无论哪一个),对国内开源模型推理的适配,以及最重要的适配之后的效率是啥水平?
有无老哥分享分享?