11 月 6 日消息，淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型，面向手机应用的任务需求与资源预算，在有限算力、内存和能耗下，兼顾任务能力、响应速度与持续运行体验。 
围绕淘宝等综合型手机应用，团队将“手机应用原生大模型”落实为四个维度的设计目标： 


速度上，在指定设备与上下文配置下，解码吞吐超过 200token/s。这一目标参考高速云端模型服务的生成吞吐，力求在本地提供流畅的生成体验。 


内存上，在指定测试条件下，峰值内存低于 300MB。即使手机拥有 8～16GB 内存，也需要由系统与多个应用共享。以约 500MB 的模型模块预算为例，将推理峰值控制在 300MB 以下，可以为上下文增长和集成开销保留余量。 


功耗上，在典型推理负载（输入 512~1024token、输出 128token）下，单次推理增量能耗目标不超过参考手机电池能量的万分之...