维度
Qwen3.8-27B（已发布）
Qwen4-27B（PR #22 推断）




模型类型
Dense 27B
Dense，PR 明确写“严格 dense Qwen4”


层数
64
未公布，PR 摘要未给


Hidden size
5120
5120，PR 写 H5120


FFN intermediate
17408
未公布，PR 摘要未给


词表
248320（padded）
未公布；Flash-Next 预览版同样是 248320，但不能直接套用到 27B


注意力布局
16 组 ×（3 层 GDN + 1 层全注意力），共 48 GDN + 16 全注意力
同样 3:1 混合骨架，但第 4 层换成 QSA，GDN 保留


GDN 配置
V 48 头、QK 16 头，head_dim 128
保留 GDN，PR 含 GDN QKVZ/BA、norm/ou...