MiMo-V3 即将采用全新架构。其核心 HySparse2 今日发布。 
更少的预填充、更小的 KV 缓存、更出色的长上下文检索——我们一次实现了所有三者。 
与 MiMo-V2.6 的 Hybrid SWA 架构相比： 
• 在 1M 令牌时，预填充 FLOPs 降低 5.02 倍 
• 在 1M 令牌时，KV 缓存缩小 4.5 倍 
• 更高的 MRCRv2 和 RULER-v2 分数，外加更低的 AgentPPL 和 LongPPL 
为什么构建全新架构？ 
代理式推理是一种截然不同的工作负载。每轮中，简短的动作可能返回需要预填充的长观察结果，同时上下文持续增长。这使得预填充成本、KV 缓存大小和检索准确性同时成为关键路径。 
HySparse2 通过两级 KV 共享机制同时应对所有三者： 
• KV Bridging：遵循 YOCO 的方法，跨解码器中的全注意力层从自解码器隐藏状...