生命、宇宙以及任何事情的终极答案 (@behemoth)llama4发布两个多模态模型 中发帖

Meta 发布了两个新的开源多模态模型 Llama 4 Scout 和 Llama 4 Maverick,采用混合专家架构,具有前所未有的上下文长度,并且在广泛使用的基准测试中优于 GPT-4o 和 Gemini 2.0 Flash 等模型 


Llama 4 Scout - 17B激活参数参数,16 位专家,109B总参数,10M 个 token 上下文窗口(预训练和后训练大小为 256K),采用 Int4 量化,可在单个 H100 GPU上部署,在基准测试中超越 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1


Llama 4 Maverick - 17B激活参数,128 位专家,总参数 400B,实现了比 GPT-4o 和 Gemini 2.0 Flash 更好的性能,在推理和编码方面与 DeepSeek v3 相当,支持在单个 H100...