Arvin XuLobeChat 的 Context Caching 来了! 实测 Claude 3.7 平均节省一半,最高狂省 86% ! 中发帖

经过三天孜孜不倦地优化,我们在 v1.69.0 正式完成了 Anthropic  Context Caching 的支持,实测日用成本平均降低50%,最高能降到 86% !🤩 

我的一个具体测试 query :
分析下 LinuxDo ,然后给出一份深度报告。和你自己的评价

然后让 Claude 3.7 自己跑了几分钟,视频如下:
https://github.com/user-attachments/assets/98e9903f-b8f6-4dbf-b530-88be94f6debb
总共跑了12 条消息,中间存在了一次网络请求导致的停顿,然后做了重新生成(缓存失效了),就当模拟日常使用的 case 了。然后完整的统计数据如下:




轮次
Token数
缓存前总积分
缓存后总积分
缓存后 / 缓存前
节省




1
2,512
10,380
4,917
47.37%
5...