zeke (@zekeChin) 在有没有什么工具可以通过API测试LLM接口的返回速度(token/s) 中发帖如题通过兼容openai 的接口来测试返回的 token/s

zeke (@zekeChin) 在有没有什么工具可以通过API测试LLM接口的返回速度(token/s) 中发帖

如题 
通过兼容openai 的 接口 来测试返回的 token/s