EverMind 团队近期在 GitHub 开源了 MSA (Memory Sparse Attention) 架构。该技术核心突破在于将大模型的有效上下文窗口推升至 1 亿（100M）Token 级别，旨在解决超长序列下的计算开销与精度损耗问题。 
核心技术点： 

Memory Sparse Attention (可微稀疏注意力)： 通过可学习的稀疏化机制管理 KV Cache，显著降低了超长文本下的内存占用。
Document-wise RoPE： 引入文档级位置编码解耦方案，解决了长序列推理中的位置坍塌问题，确保模型在处理极长文本时逻辑不乱。
性能表现： 实验数据显示，从 16K 扩展至 1 亿 Token，模型性能损耗控制在 9% 以内。
硬件需求： 依托内存并行（Memory Parallel）引擎，该架构支持在双 A800 节点上实现亿级 Token 的推理。

项目地址： 
...