@xan0355关于Claude code调用第三方API会造成Token消耗增加、缓存命中率下降的改善 中发帖

以下所有内容转载自微信视频号‘张司机在路上’博主的视频,有部份修改。 
从2.1.36开始,A社很鸡贼的在Claude code里的API请求里塞了一行x-anthropic-billing-header, 是当成system prompt的第一块发过去的. 里面有个叫cch的5位hex字段, 每次请求都不一样。
博主实测同一个session里连续三轮, cch依次是97bd6 → 24c2d → ead88, 前一轮辛苦建好的缓存, 下一轮直接对不上前缀hash。
A社自己的服务端知道怎么处理. 但所有第三方Anthropic兼容代理、Bedrock、本地vLLM是不知道的,就会把这段当成system prompt的一部分算缓存key。当前缀每次都变的情况下, 命中率就会大大下降。
在Claude code的GitHub issue里有很多人提了,但是A社就是装看不见
[IMG...