光头不砍树 (@qychen)有没有批量请求大模型的框架? 中发帖

想要跑数据,需要大批量请求api,比如硅基流动这种,不知道有没有实现类似batch inference或者类似的cli或者web呢