TryAllAI (@Rrubidium) 在 请问new-api的v1/chat/completions流式返回是怎么计算输入和输出的 中发帖
请问new-api的v1/chat/completions是怎么计算输入和输出的呀
我看返回的sse里面,不包含输入输出长度
openai的responses请求是正常的,会返回输入输出长度,new-api可以正确识别
我现在遇到的问题是:
我直接通过我的new-api请求上游new-api时候,走的v1/chat/completions,输入输出长度是和上游一致的
但是如果我用我的new-api,中转到我自己的程序,再请求到上游,也走v1/chat/completions,原样返回sse数据,仅做一些格式优化,如。会发现,计算的输出长度比上游的输出长度少很多,这有什么办法吗
[image]