海木 (@cyc333) 在 局域网ollama vllm部署模型，然后cc switch可以直接接入么 中发帖
[image]
请假各位大佬，
如图：本地部署的gemma4 是可以xxxx/v1/chat/completions跑通的，但是接到cc switch 要么报错，要么卡着没反应，症状如下：
最开始报错指定工具啥的，
[7ab0650d13652e324dc1211adec9a285]
问了genimi，改了env配置，
[image]
然后又继续报错
500 {“type”:“error”,“error”:{“type”:“internal_error”,“message”:"max_completion_tokens=32000cannot be greater than max_model_len=max_total_tokens=4096. Please request fewer output tokens.
按指引我去vllm那边从–max-mod...