yx (@yxyx) 在 关于AI大模型的上下文 中发帖
佬们,好久没关注这块了,现在御三家的大模型的上下文还是在单次对话中将历史的轮次全都发过去的吗
最新在搞一个chat的2api,但上游的chat接口是自己的格式,每次对话都是只发送本次的message+会话id绑定一个历史的。
我刚开始弄的时候准备把客户端标准openai格式的请求做解析再转成上游的这种格式,绑定会话id主要是将会话历史和客户端http特征转hash,普通的chat测试没问题,但我接到roo这种插件+toolify时候发现上下文会有变化,请求格式也不标准,而且上下一压缩,如何判断是同一个会话很难有一个完美的方案。
然后灵机一动,大模型的上下文还是靠单次对话中发送的历史消息的话,我每次对话对上游都重新开新开一个chat是不是就行了?