宇宙绵羊 (@techtech) 在 全模态,超稀疏2.4T模型:百度文心一言5.0发布(疑似闭源) 中发帖
在今天上午的百度世界大会上,百度正式发布了文心一言5.0模型,模型参数量达到了令人震惊的2.4T,采用超稀疏专家方式,激活参数比例低于 3%,但具体专家参数量没有透露。
同时,这也是一个全模态模型,支持文字,图片,音频输入,支持输出文字,图片。自带深度思考。
官方benchmark如下(网上能找到的最清晰的图了)
[image]
目前,模型已经上线文心一言,选择5.0 preview即可使用,并支持多模态输入输出。
百度千帆模型平台也上线了这一模型,具体参数,输入输出支持和价格如下:
[image]
在国产模型里面可以说是非常昂贵了。
目前没有模型开源的相关消息,大概率闭源。