落日跳车 (@sunset_rollercoaster)佬们,端侧AI有什么应用场景吗? 中发帖

当前我们有一张310P,可以部署INT8量化过的QWEM3-8B,但是实测下来还是比较蠢的,不知道佬们有做端侧场景AI的吗?端侧小尺寸模型要怎么发挥他的特点