@BondChangAmd显卡部署大模型问题求教 中发帖

各位大佬,公司采购了amd的显卡用来部署大模型,目前想测试下例如70b的模型能支持多少人同时并发?amd上有什么简单的部署方式吗?像ollama vllm lmstdio支持吗? 
需要装什么驱动吗?
[IMG20251129105858]