nameliu 在 open-webui接入litellm,支持cloudflare ai gateway,显示gemini思考过程 中发帖
open-webui接入litellm,支持cloudflare ai gateway,显示gemini思考过程
前言
原仓库:GitHub - BerriAI/litellm: Python SDK, Proxy Server (LLM Gateway) to call 100+ LLM APIs in OpenAI format - [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, Replicate, Groq]
注意:下面安装的是我fork的仓库,修改了部分代码,支持cloudflare ai gateway
实际逻辑也不是我修改的,只是发现了解决的代码,只是代码搬运工。
litellm原仓库目前还没有修复gemini接入cloudflare ai gateway的问题...