@lovesusu 在 AMD MI300X deepseek-v4-flash-0731 推理性能测试 中发帖
闲着无事,好奇mi300x跑v4flash的性能如何,所以我打算跑一下试试看
服务器使用 https://devcloud.amd.com/ 的GPU Droplets
[图片]
部署步骤完全基于 GitHub - ryanzhou/deepseek-v4-flash-mi300x · GitHub
以下为测试命令:
export OPENAI_BASE_URL=http://127.0.0.1:8000/v1
export MODEL="deepseek-ai/DeepSeek-V4-Flash-0731"
# baseline
llmperf \
--model ${MODEL} \
--mean-input-tokens 550 \
--mean-output-tokens 200 \
--num-concurrent-requests 2 \
--...