Bunn (@BunnHack)韩国发布自研大模型Solar Open 100B 中发帖

Upstage 发布了其专有的人工智慧 (AI) 模型“Solar-Open-100B”,并表示它将建立“最了解韩国文化甚至韩语细微差别的韩国人工智慧”。 
Solar Open 是 Upstage 的旗舰型 102B参数大规模语言模型,完全从零开始训练,并在 Solar-Apache 许可证 2.0(参见 LICENSE)下发布。作为一种专家混合(Mixture-of-Experts, MoE)架构,它在推理、指令遵循和代理能力方面提供企业级表现,同时优先考虑对开源社区的透明性和可定制性。
亮点

MoE 架构(102B / 12B):基于专家混合架构,总参数量为 1020 亿 / 活跃参数为 120 亿。该设计在提供大型模型知识深度的同时,兼顾了更小模型的推理速度和成本效率。
大规模训练:在 19.7 万亿(19.7 trillion)Token 上进行了预训练,确保在多个领域具有...