ayun2008🚀 DeepSeek-Ollama Bridge:流模式缓存已经完成开发,正在内测。 中发帖

因为现在很多主流 Agent 对接 OpenAI 兼容接口(DeepSeek 也有)时,默认使用是流模式,所以让 DeepSeek-Ollama Bridge 在原有非流模式缓存的基础上要支持流模式缓存。 
今天 DeepSeek-Ollama Bridge 已经完成了流模式缓存已经完成开发,正在内测。
测试目标服务器为腾讯云的 DeepSeek R1 模型,也就是说 DeepSeek-Ollama Bridge 可以对接任何 OpenAI 兼容接口的平台。
下图是内部测试效果。
被缓存的请求:
[QQ20250219-084519]
DeepSeek-Ollama Bridge 运行日志:
[QQ20250219-084943]