时歌 (@Lapis0x0) 在 模型考古学(八):Llama4发布——并非领先 中发帖
把我自己的博客内容转载到Linux do里了()
一、简报
难产的llama终于发布,几个月后的OpenAI仍然遥遥无期
2025年4月6日,Meta宣布llama家族上新,宣布了三个llama 4系列模型,开源了两个:Llama 4 Scout、Llama 4 Maverick、Llama 4 Behemoth(规模最大,未开源)。
这是模型摘要:
Llama 4 Scout,16位专家的170亿激活参数的多模态模型,单个H100 GPU可运行, 同类SOTA,并拥有10M(一千万)上下文窗口,并在广泛报道的基准测试中比 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1 有更好的表现
Llama 4 Maverick,128位专家的170亿激活参数多模态模型,击败GPT-4o和Gemini 2.0 Flash,与DeepSeek-V3同等代...