火星文专家 (@uoqocjx) 在 佬门有没有好用的大模型api网关,带详细日志的 中发帖
最近在研究agent开发,想研究一下不同平台的agent的提示词交互。
所以想找一个能通过简易配置就能记录大模型api请求体和响应体的网关或聚合平台
最好是能将流式请求输出prompt合并的,兼容openai、gemini等格式。
用过new-api、gpt-load、cloudflare-ai-gateawy
要么是只能在后台日志查看,要么就是只记录请求体,cf的自定义渠道请求要套一层结构体。