时尚的帕拉丁 (@nosee) 在 网站上的大模型跑的啥精度? 中发帖
佬们,有谁知道各大平台提供的全尺寸模型一般都跑在啥精度上面? fp16 fp8 bf16 等,很多降智的情况也许就是连上了降进度的模型,调用的API也好像没有说明。
佬们,有谁知道各大平台提供的全尺寸模型一般都跑在啥精度上面? fp16 fp8 bf16 等,很多降智的情况也许就是连上了降进度的模型,调用的API也好像没有说明。