Bunn (@BunnHack) 在 京东发布小模型JoyAI-LLM-Flash,作为踏入大模型市场的第一步,对标Qwen和GLM 4.7 Flash 中发帖
JoyAI-LLM Flash 是一款最先进的中型指令语言模型,拥有 30 亿激活参数和 480 亿总参数。JoyAI-LLM Flash 使用 Muon 优化器在 20 万亿文本 Token 上进行了预训练,随后在多种环境下经历了大规模有监督微调(SFT)、直接偏好优化(DPO)以及强化学习(RL)。JoyAI-LLM Flash 在前沿知识、推理、编程任务及智能体(Agentic)能力方面均表现出强劲的性能。
[HBLRsMTaYAA7Bwn]
[1771140173855-019c602d-a154-7a02-8406-cd0bbc850a2c]