@HCPTangHY美团开源LongCat-Flash-Lite:告别单纯堆叠专家参数 中发帖

2026年1月29日,美团LongCat团队正式开源名为LongCat-Flash-Lite的大语言模型。该模型总参数量达68.5B,但在实际运行中仅激活约2.9B至4.5B参数。研发团队在随附的技术报告中提出了一项关于大模型架构扩展的新范式,证明在特定的高稀疏度场景下,对模型嵌入层(Embedding)进行扩展,比传统增加专家网络数量的做法能获得更高的性能与效率。 
[image]
在基准测试中,LongCat-Flash-Lite不仅超越了同等参数规模的传统MoE基线模型,还在智能体工具调用和代码生成领域展现出极强的竞争力。特别是在SWE-Bench和τ²-Bench等评估复杂现实任务的榜单上,该模型取得了领先同级别开源模型的分数。此外,借助YaRN技术,该模型支持256K的超长上下文窗口。