yyyaaarrrgggee (@yargee) 在 【问题】CLIProxyAPI之类的账号轮询工具是否会导致kvcache命中率退化导致的更高收费问题 中发帖
显然不同家的订阅本质上背后都是给定的钱作为额度
(因为大家都说了不同复杂度/不同上下文的request消耗额度速度不一样)
所以我想问的是,现在这些订阅转api的工具,如果是完全轮询的机制,这不就导致这个长上下文的请求会跨不同的账号,而不是集中在某个号上,这样不会造成kvcache的缓存命中率退化,进而导致费用额度消耗更快呢?
有佬做过ab测试吗