老板让调研一下业界有什么模型压力测试工具，我整理了一些，佬友们有无从事相关方向工作的？ 




类别
工具名称
核心支持指标
适配后端 / 推理框架
支持模型类型
归属 / 维护方
官方榜单




框架原生
vLLM Benchmark
首字速度、生成速度、总时延、吞吐量、并发能力
vLLM 原生，也能测 OpenAI 兼容接口
主流 LLM，部分 pooling 场景
vLLM 官方
无


框架原生
GuideLLM
更偏生产视角的压测；看 TTFT、ITL、总时延、吞吐拐点、SLO/SLA 是否达标
OpenAI 兼容服务、vLLM-native
主流 LLM，也支持多模态输入数据
vLLM 项目
无


框架原生
SGLang Bench
单批/服务压测、延迟、吞吐、Profiling 分析
SGLang 原生
LLM、VLM/多模态
SGLang 官方
无


框架原生
Ge...