ask (@zidglde) 在 用new api管理渠道后,明显感觉流式输出变慢了? 中发帖
在服务器上部署了new api,打开了请求透传。可再使用对话、流式输出时,明显感觉到流式输出的速度(不是响应速度,是N token/s的那种输出速度)变慢了很多。
这是为什么呢?该怎么解决?
在服务器上部署了new api,打开了请求透传。可再使用对话、流式输出时,明显感觉到流式输出的速度(不是响应速度,是N token/s的那种输出速度)变慢了很多。
这是为什么呢?该怎么解决?