变色龙 (@bianselong) 在腾讯推出 Hunyuan-Large 开源大模型：389B 总参数、52B 激活参数中发帖腾讯今日宣布推出Hunyuan-Large 大模型，官方表示这是目前业界已经开源的基于 Transformer 的最大 MoE 模型，拥有 3890 亿总参数（389B）和 520 亿激活参数（52B），训练token数量为7T，最大上下文长度为256K

变色龙 (@bianselong) 在腾讯推出 Hunyuan-Large 开源大模型：389B 总参数、52B 激活参数中发帖

腾讯今日宣布推出Hunyuan-Large 大模型，官方表示这是目前业界已经开源的基于 Transformer 的最大 MoE 模型，拥有 3890 亿总参数（389B）和 520 亿激活参数（52B），训练token数量为7T，最大上下文长度为256K。 
Arxiv (https://arxiv.org/pdf/2411.02265)｜GitHub (GitHub - Tencent/Tencent-Hunyuan-Large)｜Hugging Face (tencent/Tencent-Hunyuan-Large · Hugging Face)｜腾讯云 (腾讯混元大模型_大语言模型_自然语言大模型- 腾讯云)