Bunn (@BunnHack)Subquadratic发布 SubQ 1.1 Small , 12M超长上下文 中发帖

前提:Subquadratic推出全球首个全亚线性大模型SubQ,1200万上下文长度 
长久以来,企业级AI面临一个共同难题:难以对完整的庞大资产(如整个代码库、大型文档集或财务报表)进行直接推理。传统模型由于其底层密集注意力机制的计算量随上下文长度呈二次方(O(n^2))增长,导致处理超长文本成本高昂,只能依赖信息检索或分块等权宜之计。为了打破这一计算瓶颈,SubQ 正式发布了采用次二次稀疏注意力(SSA)架构的 SubQ 1.1 Small 模型。
[Screenshot_20260617-110910]
[Screenshot_20260617-111031]
在大海捞针测试中,该模型在 1M、2M、6M 甚至高达 12M Token 的长度下均实现了近乎完美的精准检索,并且将注意力计算量减少了近 1000倍。SSA 机制用呈线性扩展的稀疏形式取代了 O(n^2) 的密集注...