2er Two6 在 Smooth Gateway - 流式优化网关 中发帖
项目背景与痛点
上游API提供商提供的流式传输可能是粗糙的、一大块一大块出现的,体感上不“丝滑”。
灵感来源
Gemini Balance的流式传输优化功能就解决了这个痛点,在玩酒馆等需要流式传输的场景下,能够极大的提高体验,但是就如项目名那样,只能给Gemini用。
项目介绍
于是就有了这个项目,参考了Gemini Balance的思路,可以插入到任何一个OpenAI格式的API服务中间,对流式传输进行后处理,把粗糙的流切成细腻的流,再推送给最终的AI应用。
当前状态与使用建议
目前不知道会不会影响工具调用啥的()
目前仅支持接入OpenAI格式的API,推荐的使用方法是先接入New API,再套一层这个网关使用。
效果对比
套网关前的效果
[涩涩的]
套了网关后的效果
[滑滑的]
部署教程详见仓库README.md 求Star~