麻子脸 (@mazilian) 在 佬们是怎么做到在不同模型间丝滑切换的 中发帖
这个问题困扰了一段时间了,如果进行一个大的 project 过程中 token 额度用完了,想切换到其他家,或者是想自己配置一个后端的账号池,怎么能够把上下文丝滑切换。
这里想到几个方案,和对应的一些问题。
先上问题:1. token 浪费。2. 模型之间理解偏差。 3. token 用完了没有来得及总结。
能想到的解决方案:
全部上下文压缩上传。这个对于问题 2 比较有效,1,3 无解;
上下文概括上传。问题 1 有效,2,3 无效。
永久记忆。似乎能解决问题,但是需要一个好的适配不同模型的 MCP 层,并且对于什么东西应该更新进记忆也不好选择。
项目 RUG。这个好像也还行,感觉跟永久记忆有一样的问题。
不知道佬们都是怎么操作的。