LeonLee 在 【教程】用aimax395部署qwen 3.8 flash next并达到50toks/s ( Halogen flash server ) 中发帖

用aimax395部署qwen 3.8 flash next并达到50toks/s( Halogen flash server )
好久没有逛linuxdo了,想水文绞尽脑汁想不出,遂写点没有技术含量的
准备工作

一台Ubuntu(推荐)系统下的aimax395机器
一个会动的脑子
一双会动的手(

提醒
请首先在bios中将显存分配调到最小(我的是512mb)
对!没错!是最小!
教程
Step 1 安装ROCm
sudo apt install libatomic1 libquadmath0
sudo usermod -a -G render,video $LOGNAME
# Download and install GPG key
sudo mkdir --parents --mode=0755 /etc/apt/keyrings

# ROCm release signin...