落日跳车 (@sunset_rollercoaster) 在 佬们,端侧AI有什么应用场景吗? 中发帖
当前我们有一张310P,可以部署INT8量化过的QWEM3-8B,但是实测下来还是比较蠢的,不知道佬们有做端侧场景AI的吗?端侧小尺寸模型要怎么发挥他的特点
当前我们有一张310P,可以部署INT8量化过的QWEM3-8B,但是实测下来还是比较蠢的,不知道佬们有做端侧场景AI的吗?端侧小尺寸模型要怎么发挥他的特点