腾讯混元发布 Hy3 的 1bit 和 4bit 压缩版本，大幅降低这款 2950 亿参数模型的部署门槛。Hy3 原始权重接近 600GB。1bit 版本缩小至 85.5GiB，一张 96GB 的英伟达 H20 就能运行。 
单卡运行时，用户需要关闭部分加速功能，并缩短模型一次处理的文本长度。使用两张 H20 后，可以开启加速。4bit 版本体积为 169.9GiB，需要至少两张 H20。它占用更多显存，但效果更接近原始模型。 
腾讯混元称，4bit 版本在代码、工具调用、长文理解和 Agent 任务上接近原始模型。1bit 版本也只出现小幅下降。开启生成加速后，1bit 版本速度提升约 50%，4bit 版本提升接近 60%。 
腾讯混元还提供了适合服务器部署的 4bit 版本，可做成 API，供多个用户或应用调用。 
[image] 
https://mp.weixin.qq.com/...