龙骧 (@Todayhacker) 在 一个解决Google AI Studio当上下文过长以后一直在计算token无法继续进行新的对话的方法 中发帖
Google AI Studio是能够免费使用Gemini最新模型,以及进行Prompt调优的好平台。
按照Gemini的最大上下文吞吐量,理论上,对话长度可以达到可怕的100wtokens。
但是,实际使用过程中,当token到达10w量级的时候,就会经常出现一直在计算token,一直在加载,无法继续进行新的对话的情况,如下:
[image]
楼主也是苦于这个问题久矣!因为进行这么长上下文的对话,这个对话已经对我情况、细节十分了解,每次回答也都非常贴切和满意,像一个私人辅助AI。突然没法用还是有点怅然若失。
之前的小骚招
虽然不能继续进行新的对话,但是可以不停地改最后一个Prompt,并重新运行最后一个Prompt,实现强行继续使用这个对话。
但这本质上只是临时使用,下一次使用时上一次使用的最后记录就会消失,也无法拓展上下文。
偶然得到的神奇解法
偶然的机会,楼主在查看上文...