@emptyghost6 在 本地运行 Seed-X-PPO-7B 量化模型及翻译扩展对接 中发帖
在三花AI日报250722期看到了关于Seed-X模型的消息
刚推出时苦于电脑没法跑原始模型,最近Seed X PPO 7B模型推出了AWQ Int4和GPTQ量化后,下载回来进行了测试。说说我踩过的坑,写的很糙,希望排版不会太糟糕。
一、运行环境配置
我的电脑的配置为:E5-2680v4 + RTX 4060ti 16G + 64G运存(WSL分配32G)。
使用的系统为:Debian (WSL)
模型推荐:Python 3.11, vllm==0.8.0 transformers==4.51.3
推荐使用UV来构建Python虚拟环境运行。使用以下命令安装uv:
curl -LsSf https://astral.sh/uv/install.sh | sh
安装完后,使用以下命令创建并激活虚拟环境:
uv venv --python 3.11 --seed
source...