岸边钓月 (@FelixMoon)responses接口兼容设计存储求助 中发帖

今年刚上班,带教是做 网关这一块的,最近要适配responses接口,我应该帮忙打打下手,想提供store上下文的功能,大部分的设计都是先内存临时存,然后redis集群,最后时间长的会话落表。虽然现在还没开始做,但是已经能想到同一个模型服务的不同实例要keep来自同一个会话的responseid等各种细节。希望有做过的佬能提一些痛点和踩过的坑,小弟感谢