weiss li (@isbn9877007) 在 腾讯开源大模型 中发帖
腾讯这次是下了血本,家底都掏出来了。就在今天,它把自家最好的大模型开源了,这可是元宝、微信读书、QQ音乐里用的同款389B的MoE模型啊!
激活参数52B,
上下文256K,
训练量达到7T
而且免费还能商用,各项指标都很出色,代码能力也非常强,甚至还发布了技术报告。