nicky ni 在 最近尝试部署claude接口,遇到个问题 中发帖
前段时间得到一个网站,可以用claude,厂方有自己的接口。我想着给它接到new api来。在参考站内各路大佬的 2api接口以后,也算勉强成功了,正常用起来也还行。但是昨晚发现个问题,在流式多次对话的时候(用的claude 3.7 非thinking,最大输出token设置了64K),在偶尔的情况下会出现 claude直接代替 客户回答问题,也就是你一句我一句,直到64k的上限。而正常用官key或者aws似乎是没这种情况的。我的初步猜想是流式衔接,或者上下文拼接部分没做好(不考虑ai降智的情况,正常使用是真的不降智,源头好像是gcp的claude)。有没有大佬对这种情况有了解的?