Steven (@StevenZou)测试私有部署的大模型接口的工具 中发帖

最近用vllm部署了两个多模态的大模型,想要做一个压力测试和评测比对,不知道有哪些工具可以推荐吗?各位佬