X-AIO【富可敌国】避雷!【避雷】帖!针对质疑内容回复!X-AIO到底坑不坑? 中发帖

回应 【避雷】【避雷】【避雷】x-aio中转【避雷】【避雷】【避雷】 
回应1:40k压缩一次上下文,----更新,现在30k就开始压缩
[image]
帖子中的这个图,让我们原封不动地放大看看:
[image]
Claude模型的最大上下文是200K,这位用户已经使用了170K,然后说我们的接口,30K就开始压缩。首先根据Claude Code的架构设计,上下文管理本身是程序内部的上下文管理行为,如果真的是接口后端资源有问题,超上下文直接会报错,是不可能继续处理的。 🫪
回应2:压缩一次10分钟,巨慢
code_plan_log-26.1.9.csv (226.0 KB)👈这个是该用户的所有脱敏后的请求记录
[image]
所有的API请求,平均时间是19K ms,折算下来平均单次推理时间不到20秒一次,是官方的正常推理速度水平。工程内容大的情况下,上下文管理就是耗费...