最近看了下影响大语言模型的因素,简单说就是带宽和算力 
带宽就是内存带宽,越大越好 
算力就是FLOPS也是越大越好.(有点废话了…) 
但是我使用aida64进行跑分测试时发现分单精度和双精度FLOPS,那么推理的时候主要看哪个?单精度模型用单精度的算,双精度的用双精度的算? 
不过这样又引出一个问题,量化的模型用哪个算… 
 [image]