一直没找到易用直观的LLM API性能测试工具，索性自己做了一个，目前自用很稳定 
优点

无需安装，下载即用
体积小，速度快
输出直观

快速开始
Linux
# 下载并赋予可执行权限
wget https://github.com/Yoosu-L/llmapibenchmark/releases/download/v1.0.2/llmapibenchmark_linux_amd64
chmod +x ./llmapibenchmark_linux_amd64

# 将 base_url 替换为你的 api 服务 url，以v1结尾
# 这条主要测试总解码速度（生成吞吐）可达到的最大值，场景为短输入长输出，并发默认从1 -> 128
./llmapibenchmark_linux_amd64 -base_url=https://your-api-endpoint.com/v1

# 将 ...