bilisheepcodex调优,优化token消耗 中发帖

最近看了看codex源码,在中间加了一些hook,来查看平常哪个环节最消耗token。 
平常有一个分析最新漏洞的任务,每天分析当天最重要的十个漏洞,即会有20轮次以上的调用,也会有两三轮就刹车的。正好作为测试用例,跑了十五天积累了一批样本。
样本积累好后就直接让codex分析,哪部分是token消耗最大的。
[image]
[image]
震惊,我一直以为codex会主动的抛弃无用的上下文,例如rg一次后会把有用到信息放到下次调用,无用的抛弃。而不是这种一直携带着去请求。我的上下文就在这样燃烧着。
基于这种情况,想到了两种思路,一种是前置一个小模型,每次调用后压缩调用结果。(不知道为什么在讨论解决方案时,gpt更倾向于这种方式)。另一种是当调用结果给到gpt后,gpt返回哪些需要哪些不需要,对接下来的上下文进行剪枝。(我更倾向于这种)
在确定两种方案后进行实验,现在已经有...